春秋時期為北狄所居，戰國時期為趙雁門郡樓煩縣屬地，秦屬雁門郡，漢歸　陶縣、陰館縣。后經歷代沿革更名。唐屬應州金城縣。金大定七年（1167）始名山陰，意地處復宿山之北。金貞佑二年，升山陰為忠州，屬西京道大同府。元后期復置山陰，屬山西道大同路應州。

明稱山陰縣，屬山西布政司大同府應州。清雍正八年（1730）直隸于大同府。1927年直隸于山西省。1946年6月24日，全縣解放，屬冀晉專署。建國初期屬察哈爾省雁北專區。后隨雁北專區劃歸山西省。1959年至1961年屬晉北專區，后復歸雁北專署。1989年劃歸朔州市。

1996年，山陰縣面積1658平方千米，人口20萬人，轄4鎮17鄉：岱岳鎮、山陰城鎮、玉井鎮、北周莊鎮、泥河鄉、馬營莊鄉、吳馬營鄉、岱岳鄉、后所鄉、苑家辛莊鄉、薛圐圙鄉、安榮鄉、偏嶺鄉、張家莊鄉、甘莊鄉、史家屯鄉、凍牛坡鄉、下喇叭鄉、黑圪塔鄉、合盛堡鄉、馬營鄉。縣政府駐岱岳鎮。

1998年底，全縣總人口20.4萬人。轄4鎮17個鄉：岱岳鎮、山陰城鎮、玉井鎮、北周莊鎮、泥河鄉、馬營莊鄉、吳馬營鄉、苑家辛莊鄉、薛圐圙鄉、安榮鄉、偏嶺鄉、張家莊鄉、甘莊鄉、史家屯鄉、凍牛坡鄉、下喇叭鄉、岱岳鄉、后所鄉、黑圪塔鄉、合盛堡鄉、馬營鄉。共有262個行政村。

2000年第五次人口普查，山陰縣總人口217299人，其中：岱岳鎮37572人，玉井鎮13216人，北周莊鎮12904人，山陰城鎮15719人，吳馬營鄉5863人，史家屯鄉2531人，馬營鄉6217人，偏嶺鄉3530人，凍牛坡鄉2141人，下喇叭鄉2983人，甘莊鄉3983人，苑家辛莊鄉4688人，合盛堡鄉10803人，岱岳鄉29556人，安榮鄉6806人，泥河鄉5652人，薛鄉6927人，后所鄉14338人，張莊鄉8143人，黑圪塔鄉5781人，馬營莊鄉15509人，山陰農牧場2437人。

2001年，撤銷岱岳鎮；撤銷苑家辛莊鄉，并入北周莊鎮；撤銷偏嶺鄉，并入馬營鄉；撤銷凍牛坡鄉，并入下喇叭鄉；撤銷甘莊鄉，并入岱岳鄉；撤銷泥河鄉，并入安榮鄉；撤銷黑圪塔鄉，并入薛圐圙鄉。2003年末全縣總人口218958人，其中市鎮人口50395人，鄉村人口168599人。

全縣轄3個鎮、10個鄉：玉井鎮、北周莊鎮、古城鎮、吳馬營鄉、馬營鄉、下喇叭鄉、合盛堡鄉、岱岳鄉、安榮鄉、薛圐圙鄉、后所鄉、張家莊鄉、馬營莊鄉，以及東城管委會、西城管委會。共有262個行政村，267個自然村�？h政府駐岱岳鄉。

2011年4月19日，《山西省政府關于同意山陰縣撤銷岱岳鄉設置岱岳鎮的批復》（晉政函[2011]51號）同意撤銷岱岳鄉，設置岱岳鎮，以原岱岳鄉的行政區域為現岱岳鎮的行政區域。