戰國屬陳倉縣，唐時陳倉縣改為寶雞縣。1971年由寶雞市所轄的金臺、斗雞2區合并設立金臺區。以境內元末道教建筑“金臺觀”而得名。

1996年，金臺區面積72平方千米，人口22.9萬人.轄8個街道、2個鄉：中山東路街道、西關街道、中山西路街道、群眾路街道、店子街街道、上馬營街道、十里鋪街道、臥龍寺街道、陳倉鄉、長壽鄉。區政府駐中山東路148號。

1998年，長壽鄉改為長壽鎮，陳倉鄉、臥龍寺街道合并為陳倉鎮，上馬營街道更名為東風路街道。調整后，全區轄7個街道、2個鎮。

2000年第五次人口普查，全區總人口272193人，其中：中山東路街道23788人、西關街道28995人、中山西路街道22182人、群眾路街道21644人、店子街街道16349人、東風路街道44275人、十里鋪街道44967人、長壽鎮24241人、陳倉鎮45752人。

？年撤銷長壽鎮，將羅家塄、福臨堡、太平堡、玉澗堡、新春劃歸西關街道，勝利、長青劃歸中山西路街道，金臺、金陵劃歸中山東路街道，柳溝、北庵、八里、五星劃歸群眾路街道。

2002年，全區轄中山東路街道、西關街道、中山西路街道、群眾路街道、店子街街道、東風路街道、十里鋪街道、陳倉鎮。

2003年3月1日，國務院批準（國函[2003]35號）：將原寶雞縣的金河鄉、陵原鄉、硤石鄉、蟠龍鎮劃歸寶雞市金臺區管轄。

？年，撤銷店子街街道并入陳倉鎮；恢復臥龍寺街道。調整后，金臺區轄7個街道、2個鎮、3個鄉：中山東路街道、西關街道、中山西路街道、群眾路街道、東風路街道、十里鋪街道、臥龍寺街道、陳倉鎮、蟠龍鎮、陵原鄉、金河鄉、硤石鄉。共有67個社區、103個行政村。

2011年，撤銷陵原鄉、金河鄉，合并設立金河鎮；撤銷硤石鄉，設立硤石鎮。至此，全區轄7個街道、4個鎮：中山東路街道、西關街道、中山西路街道、群眾路街道、東風路街道、十里鋪街道、臥龍寺街道、陳倉鎮、蟠龍鎮、金河鎮、硤石鎮。