縣因南岳衡山得名。據(jù)《今縣釋名》：“西北衡山，是為南岳，山如車蓋及衡軛之形，故名。”

晉永熙元年（290）始設(shè)衡山縣。南北朝宋大明八年（464）改為湘南縣。齊建元元年（474）復(fù)改為衡山縣，屬衡陽郡。后朝因之。1966年先后劃出部分地區(qū)，新設(shè)置南岳區(qū)、衡東縣。

1996年，衡山縣面積933.2平方千米，人口約39萬人。轄8個鎮(zhèn)、10個鄉(xiāng)：開云鎮(zhèn)、馬跡鎮(zhèn)、長江鎮(zhèn)、白果鎮(zhèn)、東湖鎮(zhèn)、店門鎮(zhèn)、萱洲鎮(zhèn)、新橋鎮(zhèn)、長青鄉(xiāng)、永和鄉(xiāng)、江東鄉(xiāng)、師古鄉(xiāng)、沙泉鄉(xiāng)、嶺坡鄉(xiāng)、貫塘鄉(xiāng)、賀家鄉(xiāng)、望峰鄉(xiāng)、福田鋪鄉(xiāng)。縣政府駐開云鎮(zhèn)。

2000年第五次人口普查，衡山縣總?cè)丝?81300人，其中：開云鎮(zhèn)50784人，白果鎮(zhèn)30396人，東湖鎮(zhèn)18834人，萱洲鎮(zhèn)18812人，長江鎮(zhèn)29210人，新橋鎮(zhèn)24516人，馬跡鎮(zhèn)11543人，店門鎮(zhèn)26297人，賀家鄉(xiāng)15800人，永和鄉(xiāng)26276人，沙泉鄉(xiāng)18087人，福田鋪鄉(xiāng)16111人，嶺坡鄉(xiāng)12074人，望峰鄉(xiāng)10944人，長青鄉(xiāng)17460人，貫塘鄉(xiāng)16799人，江東鄉(xiāng)16030人，師古鄉(xiāng)21327人。

2005年，開云鎮(zhèn)與師古鄉(xiāng)合并設(shè)立新的開云鎮(zhèn)（鎮(zhèn)政府駐趙家大屋）。調(diào)整后，衡山縣轄8個鎮(zhèn)、9個鄉(xiāng)：開云鎮(zhèn)、白果鎮(zhèn)、東湖鎮(zhèn)、萱洲鎮(zhèn)、長江鎮(zhèn)、新橋鎮(zhèn)、馬跡鎮(zhèn)、店門鎮(zhèn)、賀家鄉(xiāng)、永和鄉(xiāng)、沙泉鄉(xiāng)、福田鄉(xiāng)、嶺坡鄉(xiāng)、望峰鄉(xiāng)、長青鄉(xiāng)、貫塘鄉(xiāng)、江東鄉(xiāng)。

2009年，將永和鄉(xiāng)人民政府駐地遷移至新場市（湘民行發(fā)[2009] 1號）。