據《遷城記》：“繁峙，雁門塞下邑也。城于山麓，群山環而拱之，故曰繁峙。”春秋屬晉，為霍人邑。戰國屬趙，稱藿人。秦屬代郡。西漢置鹵城縣，故治在今城關東50千米固伏村，屬代郡。又置霍人縣，故治在今城關東1.5千米圣水頭村東古城坡，屬太原郡。新莽改鹵城為魯城，東漢復舊，霍人縣廢入鹵城縣，改屬雁門郡，建安中年廢。

晉復置霍人縣，故治在今城關東30千米代堡，屬雁門郡，永嘉年間廢。北魏僑置繁峙縣于石城縣境，繁峙縣故治在原平縣南板寺村。據《崞縣志》稱，故治在縣南五十里之繁峙村。板寺即繁峙之訛。隋開皇十八年（598）于霍人縣故治置繁峙縣，初屬代州，后改屬雁門郡。大業十二年（616）繁峙縣徙治今原平市境。唐武德七年（624）蔚州自今陽曲縣境徙治此，八年又徙治今忻州市境。

武周圣歷二年（699）繁峙縣歸治今城關南1.5千米杏園村東舊城，屬代州。五代北漢于城關東南40千米冶子場置寶興軍。金貞佑三年（1215）升繁峙縣為堅州，隸太原府。元隸冀寧路。明洪武二年（1369）改堅州為繁峙縣，屬太原府，八年改屬代州。萬歷十四年（1586）縣治徙石龍崗，即今城關。民國初年屬雁門道，道廢后直屬省。

抗戰時期屬晉察冀邊區一專署。解放戰爭時期屬察哈爾省渾源專署。1949年屬山西省忻縣專區。1958年11月代縣與繁峙合并，屬晉北專區。1961年繁代二縣分置，復屬忻縣專區。1967年屬忻縣地區。1983年屬忻州地區。2000年屬地級忻州市。

1998年，全縣面積2368平方千米，總人口23.5萬人，其中非農業人口2.2萬人，農業人口20.3萬人。轄3鎮17鄉：城關鎮、砂河鎮、大營鎮、杏園鄉、高升寨鄉、巖頭鄉、茶鋪鄉、寬灘鄉、光裕堡鄉、下茹越鄉、集義莊鄉、東山鄉、伯強鄉、后河鄉、義興寨鄉、金山鋪鄉、柏家莊鄉、小柏峪鄉、橫澗鄉、莊旺鄉，401個行政村�？h政府駐城關鎮。

2000年第五次人口普查，繁峙縣總人口241938人，其中：城關鎮42722人，砂河鎮36113人，大營鎮18023人，高升寨鄉4260人，下茹越鄉10539人，杏園鄉19494人，光裕堡鄉11506人，集義莊鄉14709人，后河鄉5185人，義興寨鄉6235人，東山鄉18501人，伯強鄉3398人，金山鋪鄉11261人，小柏峪鄉3959人，柏家莊鄉8034人，橫潤鄉12502人，神堂堡鄉3994人，莊旺鄉3111人，巖頭鄉4826人，茶鋪鄉1793人，寬灘鄉1773人。

2001年區劃調整后，全縣轄3個鎮、10個鄉：繁城鎮、砂河鎮、大營鎮、下茹越鄉、杏園鄉、光裕堡鄉、集義莊鄉、東山鄉、金山鋪鄉、柏家莊鄉、橫澗鄉、神堂堡鄉、巖頭鄉�？h政府駐繁城鎮。