西漢元朔五年（公元前124年），置泉陵侯國，為境內建縣之始，屬零陵郡，治所在今零陵區城北1千米處。隋開皇九年（589年），改泉陵縣為零陵縣。

1982年1月，改零陵縣永州鎮為縣級永州市。1984年6月，撤銷零陵縣，原零陵縣的郵亭圩、菱角塘、富家橋、水口山、珠山、黃田鋪等6區和楚江圩區接履橋鄉劃歸永州市（縣級）管轄。

1995年撤區并鄉，毛溪橋、長塘、馬子江3鄉并入水口山鎮，東湘橋、火湘橋、于家3鄉并入珠山鎮，雙牌鋪、鳥塘鋪2鄉并入黃田鋪鎮，陽河、大廟頭、何仙觀3鄉并入富家橋鎮，喜塘、天字地2鄉并入菱角塘鎮，鄭家橋、梅溪、福田、桐子坪、楊家巷5個鄉并入郵亭圩鎮，長嶺、集義2個鄉并入接履橋鎮，新宅里、西頭2鄉并入石巖頭鎮，灣夫、據江寺2鄉并入大慶坪鄉，華源、西塘觀2鄉并入石山腳鄉，水字橋、排龍山2鄉并入梳子鋪鄉。

1995年11月21日，國務院（國函[1995]110號）批準：撤銷零陵地區和永州市、冷水灘市，設立地級永州市和芝山區、冷水灘區。以原永州市為芝山區的行政區域，芝山區人民政府駐南津路。

1995年（1996年）撤區并鄉時，撤銷城南街道、南津渡鄉合并設立南津渡街道，撤銷七里店鄉設立七里店街道，毛溪橋、長塘、馬子江3個鄉并入水口山鎮，東湘橋、火湘橋、于家3個鄉并入珠山鎮，雙牌鋪、鳥塘鋪2個鄉并入黃田鋪鎮，陽河、大廟頭、何仙觀3個鄉并入富家橋鎮，喜塘、天字地2個鄉并入菱角塘鎮，鄭家橋、梅溪、福田、桐子坪、楊家巷5個鄉并入郵亭圩鎮，接履橋鄉（直屬鄉）和長嶺、集義2個鄉合并設立接履橋鎮，石巖頭、新宅里、西頭3個鄉合并設立石巖頭鎮，灣夫、據江寺2個鄉并入大慶坪鄉，水字橋、排龍山2鄉并入梳子鋪鄉，華源、西塘觀2鄉并入石山腳鄉。（城北街道更名為徐家井街道）

1996年，芝山區1986平方千米，人口約57萬人。轄4個街道、8個鎮、4個鄉：南津渡街道、七里店街道、朝陽街道、徐家井街道、珠山鎮、水口山鎮、黃田鋪鎮、富家橋鎮、菱角塘鎮、郵亭圩鎮、接履橋鎮、石巖頭鎮、大慶坪鄉、石山腳鄉、凼底鄉、梳子鋪鄉。區府駐徐家井。

2000年第五次人口普查，總人口553077人，其中： 徐家井街道30003人，朝陽街道35755人，南津渡街道37960人，七里店街道34927人，郵亭圩鎮47917人，接里橋鎮23065人，菱角塘鎮30620人，富家橋鎮45615人，黃田鋪鎮29265人，珠山鎮58576人，石巖頭鎮35498人，水口山鎮40334人，大慶坪鄉29890人，石山腳鄉27961人，凼底鄉20363人，梳子鋪鄉25330人。

2001年末，芝山區總人口58萬人。轄4個街道、8個鎮、4個鄉：朝陽街道、南津渡街道、七里店街道、徐家井街道、水口山鎮、珠山鎮、黃田鋪鎮、富家橋鎮、菱角塘鎮、郵亭圩鎮、接履橋鎮、石巖頭鎮、大慶坪鄉、梳子鋪鄉、石山腳鄉、凼底鄉。共有545個村（居）委會，

2005年6月15日，民政部《關于湖南省永州市芝山區更名為零陵區的批復》（民函[2005]138號）：經國務院批準，永州市芝山區更名為零陵區，行政區域不變，區人民政府駐地不變。8月1日，湖南省人民政府下發《關于永州市芝山區更名為零陵區的通知》（湘政函[2005]133號）。