三國時屬吳之衡山、衡陽二縣。唐武德年間置安仁鎮，清同治《安仁縣志》稱其名取自《論語》“仁者安仁”之意。五代后唐清泰二年（935）改為安仁場。北宋乾德三年（965）升場為縣。元時屬衡州路。明、清屬衡州府。1914年～1922年屬衡陽道。1937年～1949年屬第五、二行政督察區。1949年屬衡陽專區，1952年屬湘南行政區，1954年屬郴縣專區。

1996年，安仁縣面積1462.1平方千米。人口約38.3萬人。轄2鎮19鄉：城關鎮、安平鎮、排山鄉、龍市鄉、軍山鄉、渡口鄉、禾市鄉、清溪鄉、洋際鄉、朝陽鄉、華王鄉、龍海鄉、牌樓鄉、平背鄉、坪上鄉、承坪鄉、竹山鄉、新洲鄉、關王鄉、豪山鄉、羊腦鄉。縣政府駐城關鎮（古稱香草坪）。

1997年，撤銷關王鄉、朝陽鄉，設立關王鎮、靈官鎮。1999年，撤銷龍海鄉、清溪鄉，設立龍海鎮、清溪鎮。調整后，安仁縣轄6個鎮、15個鄉。

2000年第五次人口普查，安仁縣總人口361098人，其中：城關鎮31963人，安平鎮35742人，龍海鎮16451人，清溪鎮30639人，關王鎮13172人，靈官鎮17961人，排山鄉12045人，龍市鄉13840人，軍山鄉13191人，禾市鄉16778人，渡口鄉17824人，華王鄉15929人，牌樓鄉28039人，平背鄉18693人，坪上鄉13607人，承坪鄉15131人，竹山鄉12367人，豪山鄉9841人，羊腦鄉7508人，新洲鄉6635人，洋際鄉13742人。

2004年，安仁縣轄6個鎮、15個鄉：城關鎮、安平鎮、龍海鎮、清溪鎮、關王鎮、靈官鎮、排山鄉、龍市鄉、軍山鄉、禾市鄉、渡口鄉、華王鄉、牌樓鄉、平背鄉、坪上鄉、承坪鄉、竹山鄉、豪山鄉、羊腦鄉、新洲鄉、洋際鄉。縣政府駐城關鎮。

2012年，省民政廳（湘民行發[2012]11號）批復同意將清溪鎮、禾市鄉、排山鄉、軍山鄉、城關鎮成建制合并，設立永樂江鎮。以原清溪鎮、禾市鄉、排山鄉、軍山鄉、城關鎮的行政區域為新設永樂江鎮的行政區域，永樂江鎮轄45個建制村、4個居委會，總面積358.74平方公里，總人口13.44萬人，鎮人民政府駐五一北路（原城關鎮人民政府駐地）。