秦置善元縣，屬雁門郡治。西漢別置中陵縣，亦屬雁門郡。新莽改善元為陰館，改中陵為遮害，東漢復(fù)舊。后雁門郡治南遷，建武二十七年（51）定襄郡徙治善元縣，縣屬之，中陵縣亦屬定襄郡。建安末年2縣俱廢。北魏復(fù)置，初隸畿內(nèi)。東魏天平二年（535）于縣置善元郡，縣屬之。北齊郡、縣俱廢，置威遠(yuǎn)縣，北周廢。唐天寶年間置靜邊軍于右玉城。

遼、金皆為云中縣地，元為大同縣地。明永樂七年（1409）大同右衛(wèi)自今大同城徙治右玉城鎮(zhèn)。正統(tǒng)十四年（1449）玉林衛(wèi)自今大同城遷此，與大同右衛(wèi)同治，改稱右玉林衛(wèi)，屬山西行都指揮使司大同府。清初名右玉衛(wèi)，雍正三年（公元1725年）升衛(wèi)為縣，于縣置朔平府，縣屬之。民國元年（公元1912年）廢府留縣，歸雁北道。道廢后直屬省。

抗日戰(zhàn)爭時(shí)期曾一度以右玉縣南境及朔縣（今朔州市城區(qū)）、左云縣部分地區(qū)置右南縣，屬晉綏五專署。1949年右玉縣屬察哈爾省。1952年復(fù)歸山西省，屬雁北專區(qū)。1958年并入左云縣。1961年復(fù)縣，隸屬不改。1967年屬雁北地區(qū)。1972年將縣址由舊城（右玉城）遷至梁家油坊。

右玉縣面積1964平方千米，人口11萬人，轄3個鎮(zhèn)、13個鄉(xiāng)：梁家油坊鎮(zhèn)、右玉城鎮(zhèn)、威遠(yuǎn)堡鎮(zhèn)、牛心堡鄉(xiāng)、白頭里鄉(xiāng)、元堡子鄉(xiāng)、高家堡鄉(xiāng)、西碾頭鄉(xiāng)、威坪堡鄉(xiāng)、丁家窯鄉(xiāng)、楊千河鄉(xiāng)、殺虎口鄉(xiāng)、李達(dá)窯鄉(xiāng)、破虎堡鄉(xiāng)、歐家村鄉(xiāng)、高墻框鄉(xiāng)。縣政府駐梁家油坊鎮(zhèn)。（根據(jù)《中國政區(qū)大典》，1996年左右資料）

2000年第五次人口普查，右玉縣總?cè)丝?05143人，其中：粱家油坊鎮(zhèn)35382人，右玉城鎮(zhèn)7557人，威遠(yuǎn)堡鎮(zhèn)8600人，牛心堡鄉(xiāng)4284人，白頭里鄉(xiāng)4933人，高家堡鄉(xiāng)6349人，元堡子鄉(xiāng)7571人，西碾頭鄉(xiāng)2765人，威坪堡鄉(xiāng)2682人，丁家窯鄉(xiāng)3463人，楊千河鄉(xiāng)3802人，殺虎口鄉(xiāng)2455人，李達(dá)窯鄉(xiāng)6375人，破虎堡鄉(xiāng)2249人，歐家村鄉(xiāng)3008人，高墻框鄉(xiāng)3668人。

2001年，梁家油坊鎮(zhèn)更名為新城鎮(zhèn)，右玉城鎮(zhèn)、殺虎口鄉(xiāng)、高墻框鄉(xiāng)合并為右衛(wèi)鎮(zhèn)，威遠(yuǎn)堡鎮(zhèn)、威坪堡鄉(xiāng)合并為威遠(yuǎn)鎮(zhèn)，歐家村鄉(xiāng)并入牛心堡鄉(xiāng)，破虎堡鄉(xiāng)并入破虎堡鄉(xiāng)，西碾頭鄉(xiāng)并入高家堡鄉(xiāng)。區(qū)劃調(diào)整后，全縣轄4個鎮(zhèn)、6個鄉(xiāng)：新城鎮(zhèn)、右衛(wèi)鎮(zhèn)、威遠(yuǎn)鎮(zhèn)、元堡子鎮(zhèn)、牛心堡鄉(xiāng)、白頭里鄉(xiāng)、高家堡鄉(xiāng)、丁家窯鄉(xiāng)、楊千河鄉(xiāng)、李達(dá)窯鄉(xiāng)。縣政府駐新城鎮(zhèn)。