焉支山，一名刪丹山，亦曰刪丹嶺，漢因置刪丹縣。后刪丹訛為山丹，有山丹河，出縣南祁連山麓，即《禹貢》中的弱水。北魏改為山丹縣。隋復(fù)改為刪丹縣。元置山丹州。明初改稱山丹衛(wèi)。清雍正二年（1724）改為山丹縣。

1996年，山丹縣面積5402平方千米，人口19.7萬人。轄1個(gè)鎮(zhèn)、10個(gè)鄉(xiāng)：城關(guān)鎮(zhèn)、清泉鄉(xiāng)、東樂鄉(xiāng)、紅寺湖鄉(xiāng)、位奇鄉(xiāng)、陳戶鄉(xiāng)、老軍鄉(xiāng)、李橋鄉(xiāng)、花寨子鄉(xiāng)、霍城鄉(xiāng)、大馬營鄉(xiāng)。縣政府駐城關(guān)鎮(zhèn)。

2000年第五次人口普查，山丹縣常住總?cè)丝?91158人，其中（4個(gè)鎮(zhèn)、7個(gè)鄉(xiāng)）：城關(guān)鎮(zhèn)26095人，清泉鎮(zhèn)30949人，位奇鎮(zhèn)23744人，霍城鎮(zhèn)19829人，東樂鄉(xiāng)13820人，紅寺湖鄉(xiāng)899人，陳戶鄉(xiāng)21797人，老軍鄉(xiāng)7543人，李橋鄉(xiāng)9397人，花寨子鄉(xiāng)8777人，大馬營鄉(xiāng)10634人，馬場17674人。

？年，城關(guān)鎮(zhèn)、清泉鎮(zhèn)、紅寺湖鄉(xiāng)合并為清泉鎮(zhèn)，花寨子鄉(xiāng)并入大馬營鄉(xiāng)。調(diào)整后，全縣轄3個(gè)鎮(zhèn)、5個(gè)鄉(xiāng)：清泉鎮(zhèn)、位奇鎮(zhèn)、霍城鎮(zhèn)、東樂鄉(xiāng)、陳戶鄉(xiāng)、老軍鄉(xiāng)、李橋鄉(xiāng)、大馬營鄉(xiāng)。縣政府駐清泉鎮(zhèn)。

2008年末，山丹縣面積5402平方千米，轄8個(gè)鄉(xiāng)鎮(zhèn)，115個(gè)行政村，746個(gè)村民小組。農(nóng)業(yè)人口3.82萬戶15.28萬人。

2010年第六次人口普查，山丹縣常住總?cè)丝?61299人，其中：清泉鎮(zhèn)69902人，位奇鎮(zhèn)17403人，霍城鎮(zhèn)11861人，東樂鄉(xiāng)11027人，大馬營鄉(xiāng)11551人，陳戶鄉(xiāng)17181人，老軍鄉(xiāng)4473人，李橋鄉(xiāng)5671人，國營山丹農(nóng)場1027人，中牧公司山丹馬場11203人。

2014年，撤銷東樂鄉(xiāng)、陳戶鄉(xiāng)、大馬營鄉(xiāng)，設(shè)立東樂鎮(zhèn)、陳戶鎮(zhèn)、大馬營鎮(zhèn)。調(diào)整后，全縣轄6個(gè)鎮(zhèn)、2個(gè)鄉(xiāng)：清泉鎮(zhèn)、位奇鎮(zhèn)、霍城鎮(zhèn)、東樂鎮(zhèn)、陳戶鎮(zhèn)、大馬營鎮(zhèn)、老軍鄉(xiāng)、李橋鄉(xiāng)。同年，清泉鎮(zhèn)、位奇鎮(zhèn)被列為全國重點(diǎn)鎮(zhèn)。