祁陽在秦代屬長沙郡地，西漢為泉陵侯國地，東漢屬泉陵縣地。三國吳寶鼎元年（266）析泉陵縣置祁陽縣（縣治在今祁東縣金蘭橋），以地處古祁山之陽而得名。隋開皇九年（589）并入零陵。唐武德四年（621）析置祁陽，建治所于老山灣，屬永州零陵郡。宋仍之。元屬永州。
明屬永州府，景泰三年（1452）治所遷今浯溪鎮。民國三年（1914）屬衡陽道，民國二十七年（1938）屬第七行政督察區。1950年屬零陵專區，1952年析縣境東北置祁東縣，同年屬湘南行政公署，1954年寧遠縣第11區劃入，改屬衡陽地區，1983年改屬零陵地區，1995年后屬永州市。
1996年，祁陽縣面積2538平方千米，人口約93萬人。轄21個鎮、6個鄉（其中1個民族鄉）：浯溪鎮、黎家坪鎮、白水鎮、觀音灘鎮、大忠橋鎮、肖家村鎮、八寶鎮、黃泥塘鎮、潘市鎮、羊角塘鎮、下馬渡鎮、大村甸鎮、文明鋪鎮、茅竹鎮、三口塘鎮、進寶塘鎮、梅溪鎮、七里橋鎮、文富市鎮、龔家坪鎮、金洞鎮、小金洞鄉、白果市鄉、鳳凰鄉、石鼓源鄉、上司源鄉、曬北灘瑤族鄉。縣政府駐浯溪鎮。
2000年第五次人口普查，祁陽縣總人口944602人，其中：浯溪鎮123107人，觀音灘鎮38351人，茅竹鎮23655人，大忠橋鎮48730人，三口塘鎮24569人，肖家村鎮44593人，八寶鎮34428人，白水鎮63376人，進寶塘鎮29309人，黃泥塘鎮34614人，潘市鎮47056人，梅溪鎮27040人，羊角塘鎮59226人，七里橋鎮39028人，下馬渡鎮52077人，大村甸鎮33990人，黎家坪鎮50132人，文富市鎮32698人，文明鋪鎮51960人，龔家坪鎮34301人，金洞鎮9442人，小金洞鄉6448人，曬北濉鄉8067人，白果市鄉5287人，風凰鄉8256人，上司源鄉5002人，石鼓源鄉9860人。
2001年末，全縣總人口98.14萬人。轄21個鎮、6個鄉（其中1個民族鄉）：浯溪鎮、觀音灘鎮、茅竹鎮、大忠橋鎮、三口塘鎮、肖家村鎮、八寶鎮、白水鎮、黃泥塘鎮、進寶塘鎮、潘市鎮、梅溪鎮、羊角塘鎮、下馬渡鎮、七里橋鎮、大村甸鎮、黎家坪鎮、文富市鎮、文明鎮、龔家坪鎮、金洞鎮、小金洞鄉、曬北灘瑤族鄉、鳳凰鄉、白果市鄉、石鼓源鄉、上司源鄉。共有951個村（居）委會。
2008年，湖南省民政廳批準（湘民行發[2008] 2號）：撤銷祁陽縣內下林場，設立內下鄉。以原內下林場的管轄區域為新設內下鄉的行政區域，內下鄉轄4個建制村，總面積110平方千米，總人口0.46萬人，鄉人民政府駐內下。調整后，全縣轄21個鎮、7個鄉（其中1個民族鄉）。
2010年，撤銷浯溪鎮，設立龍山、長虹、浯溪3個街道。龍山街道轄龍山、九塘沖等11個社區和陶家嶺、青竹等4個行政村，總面積24.6平方千米，總人口8萬人，辦事處機關駐民生北路189號（原浯溪鎮政府駐地）；長虹街道轄人民西路、新興路等10個社區和官大嶺、湘祁等8個行政村，總面積31.8平方千米，總人口5.9萬人，辦事處機關駐長虹；浯溪街道轄王府坪、白竹湖等10個社區和土輕、塔邊等6個行政村，總面積25.6平方千米，總人口6.4萬人，辦事處機關駐椒山南路215號。調整后，祁陽縣轄20個鎮、7個鄉、3個街道。縣政府駐地不變，屬長虹街道辦事處轄區。全縣總面積2538平方公里，總人口101.7萬人，其中縣城面積92平方千米，人口20.3萬人。
2010年，從金洞鎮析出勝利、睦源、下司口、中棚、油榨鋪、桐子山等6個行政村設立萬寶山鄉。新設萬寶山鄉轄6個行政村，總面積62平方千米，總人口0.61萬人，鄉政府駐油榨鋪（原萬寶山工區機關駐地）。行政區劃調整后，金洞鎮轄11個行政村，總面積80平方千米，總人口1.83萬人，鎮政府駐地不變；全縣轄3個街道、20個鎮、8個鄉（其中1個民族鄉）。
2013年，省民政廳（湘民行發[2013]8號）批復同意：一、設立祁陽縣大江鄉。以原大江林場管轄的大江邊、鄭家沖、繪家坪、長沖、黃沙5個國有工區及代管的12個建制村為大江鄉的行政區域。行政區劃調整后，大江鄉轄塘嶺、大院、瓦屋、九渡、彭家灣、唐家沖、趙家棚、百嶺、黃沙、青石、白竹、龍凼12個建制村，總面積140平方公里，總人口1.01萬人，鄉人民政府駐大江。二、設立祁陽縣掛榜山鄉。以原掛榜山林場所轄的4個國有工區及代管的18個建制村為掛榜山鄉的行政區域。行政區劃調整后，掛榜山鄉轄觀云口、鄧家嶺、小掛榜山、龍塘、雙江口、田家沖、高照、金竹、高沖岐、栗山坪、大坳、豪爽口、雅園、百級、水沖、梅子坪、城月、紫山沖18個建制村，總面積112平方公里，總人口1.23萬人，鄉人民政府駐觀云口。
全縣現轄3個街道、20個鎮、10個鄉（其中1個民族鄉）：龍山街道、長虹街道、浯溪街道、觀音灘鎮、茅竹鎮、大忠橋鎮、三口塘鎮、肖家村鎮、八寶鎮、白水鎮、黃泥塘鎮、進寶塘鎮、潘市鎮、梅溪鎮、羊角塘鎮、下馬渡鎮、七里橋鎮、大村甸鎮、黎家坪鎮、文富市鎮、文明鎮、龔家坪鎮、金洞鎮、小金洞鄉、曬北灘瑤族鄉、鳳凰鄉、白果市鄉、石鼓源鄉、上司源鄉、內下鄉、萬寶山鄉、大江鄉、掛榜山鄉。