據《水經注》：“武溪水出縣西北桐柏山，東南流，右合溱水，亂流東南，經縣西，縣側臨溪東，因曰臨武。”戰國時為楚臨武邑。楚考烈王封臨武君于此，因以名邑。漢高祖五年（前201）建縣，治設姥婆城。隋末遷今址，屬桂陽郡，唐如意元年（692）更名隆武縣，屬郴州。唐神龍元年（705）復名臨武縣。五代晉天福四年（939）并入桂陽監。

南宋紹興十一年（1141）復置臨武縣，移治今城關鎮，屬桂陽軍。元屬桂陽路。明屬衡州府桂陽州。清屬桂陽直隸州。1914～1922年屬衡陽道。1949年屬郴縣專區，1951年屬郴州專區，1952年屬湘南行政區，1954年屬郴縣專區。1959年并入宜章縣，1961年復置臨武縣，屬郴州專區。1968年屬郴州地區，1994年屬郴州市。

1996年，臨武縣面積1393平方千米，人口約30.3萬人。轄3個鎮、19個鄉：城關鎮、金江鎮、香花嶺鎮、楚江鄉、大沖鄉、汾市鄉、廣宜鄉、花塘鄉、接龍鄉、麥市鄉、南強鄉、三合鄉、雙溪鄉、水東鄉、同益鄉、土地鄉、土橋鄉、萬水鄉、武水鄉、武源鄉、西瑤鄉、鎮南鄉。縣政府駐城關鎮東云路。

2000年第五次人口普查，臨武縣總人口303290人，其中：城關鎮34426人，金江鎮17122人，香花嶺鎮7731人，嵐橋鎮10614人，武水鎮22991人，雙溪鄉15757人，南強鄉15550人，廣宜鄉7529人，同益鄉10586人，汾市鄉14081人，土地鄉12279人，水東鄉9230人，接龍鄉6031人，花塘鄉17852人，楚江鄉17553人，武源鄉8723人，萬水鄉18458人，麥市鄉24092人，三合鄉13196人，鎮南鄉10768人，大沖鄉6452人，西山瑤族鄉2269人。

2004年，全縣轄5個鎮、17個鄉（其中1個民族鄉）：城關鎮、金江鎮、香花嶺鎮、嵐橋鎮、武水鎮、雙溪鄉、南強鄉、廣宜鄉、同益鄉、汾市鄉、土地鄉、水東鄉、接龍鄉、花塘鄉、楚江鄉、武源鄉、萬水鄉、麥市鄉、三合鄉、鎮南鄉、大沖鄉、西山瑤族鄉。縣政府駐城關鎮。

2012年，省民政廳（湘民行發[2012]13號）批復同意對臨武縣鄉鎮行政區劃調整如下：一、將南強鄉、嵐橋鎮、廣宜鄉成建制合并，設立南強鎮。以原南強鄉、嵐橋鎮、廣宜鄉的行政區域為新設南強鎮的行政區域，南強鎮轄46個建制村，總面積174.20平方公里，總人口3.95萬人，鎮人民政府駐新祖寺（原南強鄉人民政府駐地）。二、將香花嶺鎮、三合鄉成建制合并，設立香花鎮。以原香花嶺鎮、三合鄉的行政區域為新設香花鎮的行政區域，香花鎮轄16個建制村、2個居委會，總面積77.52平方公里，總人口2.29萬人，鎮人民政府駐三合墟（原三合鄉人民政府駐地）。三、將水東鄉、接龍鄉成建制合并，設立水東鎮。以原水東鄉、接龍鄉的行政區域為新設水東鎮的行政區域，水東鎮轄14個建制村，總面積69.10平方公里，總人口1.84萬人，鎮人民政府駐深渡（原水東鄉人民政府駐地）。四、將城關鎮更名為舜峰鎮。同年，汾市鄉、楚江鄉、麥市鄉撤鄉設鎮。

全縣現轄9個鎮、9個鄉（其中1個民族鄉）：舜峰鎮、金江鎮、武水鎮、南強鎮、汾市鎮、水東鎮、楚江鎮、麥市鎮、香花鎮、雙溪鄉、同益鄉、土地鄉、花塘鄉、武源鄉、萬水鄉、鎮南鄉、大沖鄉、西山瑤族鄉。縣政府駐舜峰鎮。