秦統一中國后，南岳衡山其地屬長沙郡。三國吳會稽王太平二年（257年），隸屬衡陽縣。晉惠帝永熙元年（290年），改衡陽縣為衡山縣，為縣名之始。唐屬衡州，宋屬潭州，元屬潭州路，后改為天臨路。明清屬衡州府。民國廢府存縣，直屬湖南省。

20世紀50年代的衡山縣包括今衡山、衡東兩縣和南岳區。1960年初，衡山劃出南岳公社和南岳鎮歸省直屬的南岳管理局管轄，次年底，南岳管理局改稱南岳縣。1966年撤銷南岳縣；將衡山縣湘江以東地區析出組建衡東縣，原南岳縣與衡山縣湘江以西地區合并為衡山縣。

1984年，衡山縣劃出南岳鎮、南岳鄉及東湖、馬跡、望峰三個鄉鎮的10個村，設立衡陽市南岳區（同時保留湖南省南岳管理局，兩塊牌子、一套人馬），因五岳名山南岳而得名為南岳區。

2000年第五次人口普查，南岳區總人口53423人，其中：祝融街道16092人，南岳鎮31459人，岳林鄉2018人，龍風鄉2249人，拜殿鄉1605人。

2004年，南岳區轄1個街道、1個鎮、3個鄉�！∽Ｈ诮值垒牥自�、岳廟、祝圣、獨秀、迎賓、衡岳6個居委會。　南岳鎮轄萬福、紅星、延壽、白龍、金月、岳東、水濂、新村、燒田、光明、荊田、興隆、譚家橋、雙田、黃竹、紅光、楓木橋、樟樹橋、紫峰、泗塘20個村委會�！≡懒粥l轄岳林、蓮塘、杉灣、石山4個村委會。　龍鳳鄉轄龍鳳、水口、紅旗3個村委會。　拜殿鄉轄龍潭、觀音、拜殿3個村委會。（根據《湖南省縣及縣以下行政區劃代碼2004年》整理）