轄區主體是老城區。俗稱“舊城”，建于明萬歷三年（1575年），時稱庫庫和屯（呼和浩特的別譯），明廷賜名“歸化城”。明末毀于戰火，清初復建，城區逐漸向南擴展。1954年在原歸綏市第三區的基礎上改建呼和浩特市玉泉區，1966年改向陽區，1979年復稱玉泉區。

1996年，玉泉區位于城區西南部，面積5.6平方千米，人口約11.3萬人。轄小召街道、大南街街道、興隆巷街道、長和廊街道、石東路街道等5個街道。區政府駐公園西路200號。

1999年，將原郊區的西菜園、桃花、小黑河3個鄉（包括53個行政村、72個居委會）劃歸玉泉區，新增農業人口41371人。全區轄5個街道、3個鄉。

2000年5月14日，國務院（國函[2000]42號）批準同意調整呼和浩特市市轄區行政區劃。行政區劃調整后，玉泉區轄小召、大南街、興隆巷、長和廊、石羊橋東路5個街道辦事處，以及從原郊區劃入的桃花、小黑河2個鄉，西菜園鄉的西霞園、巴彥烏素、蘆花園、落雁、辛興5個居委會和范家營、西瓦窯、五里營、南八里莊、西菜園、南茶坊、堿灘、大圍困、南營子、西水磨、辛辛板、小黑河、溝子板13個村委會。區人民政府駐公園西路。

2000年第五次人口普查，玉泉區總人口266888人，其中：小召前街道24030人，興隆巷街道31369人，長和廊街道27465人，石羊橋東路街道22847人，大南街街道18920人，西菜園鄉101241人，桃花鄉22776人，小黑河鄉18240人。

？年，設立鄂爾多斯路街道。調整后，玉泉區轄6個街道、3個鄉：小召前街街道、興隆巷街道、長和廊街道、石羊橋東路街道、大南街街道、鄂爾多斯路街道、西菜園鄉、桃花鄉、小黑河鄉。

？年，撤銷西菜園鄉，設立西菜園街道。？年，小黑河撤鄉設鎮。調整后，玉泉區轄7個街道、1個鎮、1個鄉：小召前街街道、興隆巷街道、長和廊街道、石羊橋東路街道、大南街街道、鄂爾多斯路街道、西菜園街道、小黑河鎮、桃花鄉。

2006年，設立昭君路街道（2007年1月8日掛牌成立）；撤銷桃花鄉，并入小黑河鎮。調整后，玉泉區轄8個街道、1個鎮：小召前街街道、興隆巷街道、長和廊街道、石羊橋東路街道、大南街街道、鄂爾多斯路街道、西菜園街道、昭君路街道、小黑河鎮。共有54個行政村和40個社區。全區總面積258平方千米，總人口31萬人（含流動人口）。