相傳麟州故城（今名楊家城）東有三株古松，唐代所植，粗兩三人合抱，枝柯相連，人稱神奇，便以神木為名。西漢惠帝五年（公元前190年）于縣南設(shè) 陽、 陰二縣，屬西河郡；于西北禿尾河上游東岸設(shè)白土縣，屬上郡。東漢末三縣廢。北魏于縣南設(shè)石城縣，北周保定二年（562年）移治石龜鎮(zhèn)并更名銀城縣，隋大業(yè)末年廢。唐貞觀二年（628年）復(fù)設(shè)銀城縣，八年于今縣北黃羊城增設(shè)連谷縣，屬胂州；開元二年（714年）于縣北增設(shè)新秦縣，七年分新秦縣增設(shè)鐵麟縣，十二年新秦兼為麟州治，十四年廢州和新秦、鐵麟二縣；天寶元年（742年）復(fù)設(shè)新秦縣并兼為新秦郡治，乾元元年（758年）改郡為麟州治。五代后周州、縣移治小堡。北宋乾德元年（963年）州、縣又移治吳兒堡，五年再移治楊家城；政和四年（1114年）省銀城、連谷二縣入新秦縣。

金皇統(tǒng)八年（1148年）廢州、縣，正大三年（1226年）于今縣南花石崖北升彌川寨設(shè)彌川縣，末年于今縣南太和寨升太和寨設(shè)太和縣，屬葭州。蒙古初于神木寨（即今址）置云州，蒙古至元六年（1269年）廢州始設(shè)神木縣并省太和縣入，屬葭州，省彌川縣入葭州。神木縣故治在今縣東巽山。清《神木縣志》：“因巽山有神樹二株”，故名。明正統(tǒng)八年（1443年）徙今址。清屬榆林府。1914年屬榆林道。1928年直屬省。1937年于今賀家川鎮(zhèn)設(shè)陜甘寧邊區(qū)神府縣。1949年屬榆林分區(qū)。1950年省神府縣入神木縣，屬榆林專區(qū)。1958年省府谷縣入神木縣，1961年析出復(fù)設(shè)府谷縣。1969年屬榆林地區(qū)。1999年屬榆林市。

1997年，中雞鄉(xiāng)改為中雞鎮(zhèn)，孫家岔鄉(xiāng)改為孫家岔鎮(zhèn)，大保當(dāng)鄉(xiāng)改為大保當(dāng)鎮(zhèn)，花石崖鄉(xiāng)改為花石崖鎮(zhèn)，馬鎮(zhèn)鄉(xiāng)改為馬鎮(zhèn)。至此，神木縣轄12個(gè)鎮(zhèn)、10個(gè)鄉(xiāng)：神木鎮(zhèn)、賀家川鎮(zhèn)、萬鎮(zhèn)鎮(zhèn)、店塔鎮(zhèn)、孫家岔鎮(zhèn)、大柳塔鎮(zhèn)、花石崖鎮(zhèn)、馬鎮(zhèn)鎮(zhèn)、大保當(dāng)鎮(zhèn)、爾林兔鎮(zhèn)、中雞鎮(zhèn)、高家堡鎮(zhèn)、麻家塔鄉(xiāng)、沙峁鄉(xiāng)、瓦羅鄉(xiāng)、解家堡鄉(xiāng)、太和寨鄉(xiāng)、喬岔灘鄉(xiāng)、瑤鎮(zhèn)鄉(xiāng)、西溝鄉(xiāng)、永興鄉(xiāng)、欄桿堡鄉(xiāng)。總面積7635平方千米，總?cè)丝?3萬人，縣政府駐神木鎮(zhèn)。

2000年第五次人口普查，神木縣常住總?cè)丝?60774人，其中：神木鎮(zhèn)86632人、高家堡鎮(zhèn)17348人、店塔鎮(zhèn)19763人、孫家岔鎮(zhèn)11612人、大柳塔鎮(zhèn)32391人、花石崖鎮(zhèn)11866人、中雞鎮(zhèn)13595人、賀家川鎮(zhèn)10440人、爾林兔鎮(zhèn)12309人、萬鎮(zhèn)鎮(zhèn)13956人、大保當(dāng)鎮(zhèn)12857人、馬鎮(zhèn)鎮(zhèn)12170人、麻家塔鄉(xiāng)12856人、永興鄉(xiāng)8271人、喬岔灘鄉(xiāng)14530人、太和寨鄉(xiāng)7238人、瑤鎮(zhèn)鄉(xiāng)13519人、欄桿堡鄉(xiāng)10211人、沙峁鄉(xiāng)11652人、解家堡鄉(xiāng)9746人、西溝鄉(xiāng)10000人、瓦羅鄉(xiāng)7812人。

2001年，撤銷西溝鄉(xiāng)、永興鄉(xiāng)并入神木鎮(zhèn)，撤銷沙峁鄉(xiāng)設(shè)立沙峁鎮(zhèn)，撤銷欄桿堡鄉(xiāng)、瓦羅鄉(xiāng)合并設(shè)立欄桿堡鎮(zhèn)。

2003年，神木縣轄神木鎮(zhèn)、沙峁鎮(zhèn)、大保當(dāng)鎮(zhèn)、中雞鎮(zhèn)、爾林兔鎮(zhèn)、大柳塔鎮(zhèn)、孫家岔鎮(zhèn)、店塔鎮(zhèn)、高家堡鎮(zhèn)、花石崖鎮(zhèn)、萬鎮(zhèn)、賀家川鎮(zhèn)、馬鎮(zhèn)、欄桿堡鎮(zhèn)14個(gè)鎮(zhèn)和瑤鎮(zhèn)鄉(xiāng)、解家堡鄉(xiāng)、麻家塔鄉(xiāng)、喬岔灘鄉(xiāng)、太和寨鄉(xiāng)5個(gè)鄉(xiāng)，共有769個(gè)村委會(huì)、15個(gè)社區(qū)。

2004年，撤銷瑤鎮(zhèn)鄉(xiāng)設(shè)立錦界鎮(zhèn)，錦界鎮(zhèn)政府駐地由瑤鎮(zhèn)村遷往錦界，其行政區(qū)域不變。調(diào)整后，神木縣轄15個(gè)鎮(zhèn)、4個(gè)鄉(xiāng)：神木鎮(zhèn)、高家堡鎮(zhèn)、店塔鎮(zhèn)、孫家岔鎮(zhèn)、大柳塔鎮(zhèn)、花石崖鎮(zhèn)、中雞鎮(zhèn)、賀家川鎮(zhèn)、爾林兔鎮(zhèn)、萬鎮(zhèn)鎮(zhèn)、大保當(dāng)鎮(zhèn)、馬鎮(zhèn)鎮(zhèn)、欄桿堡鎮(zhèn)、沙峁鎮(zhèn)、錦界鎮(zhèn)、麻家塔鄉(xiāng)、喬岔灘鄉(xiāng)、太和寨鄉(xiāng)、解家堡鄉(xiāng)。

2010年第六次人口普查，神木縣常住總?cè)丝?55493人，其中：神木鎮(zhèn)204525人，高家堡鎮(zhèn)8862人，店塔鎮(zhèn)28581人，孫家岔鎮(zhèn)19583人，大柳塔鎮(zhèn)59883人，花石崖鎮(zhèn)2504人，中雞鎮(zhèn)18004人，賀家川鎮(zhèn)3427人，爾林兔鎮(zhèn)10600人，萬鎮(zhèn)4144人，大保當(dāng)鎮(zhèn)15208人，馬鎮(zhèn)4605人，欄桿堡鎮(zhèn)4157人，沙峁鎮(zhèn)5517人，錦界鎮(zhèn)25561人，麻家塔鄉(xiāng)30563人，喬岔灘鄉(xiāng)4989人，太和寨鄉(xiāng)2022人，解家堡鄉(xiāng)2758人。

2011年，撤銷太和寨鄉(xiāng)并入賀家川鎮(zhèn)，撤銷解家堡鄉(xiāng)、麻家塔鄉(xiāng)并入神木鎮(zhèn)，撤銷喬岔灘鄉(xiāng)并入高家堡鎮(zhèn)。調(diào)整后，神木縣轄15個(gè)鎮(zhèn)：神木鎮(zhèn)、高家堡鎮(zhèn)、店塔鎮(zhèn)、孫家岔鎮(zhèn)、大柳塔鎮(zhèn)、花石崖鎮(zhèn)、中雞鎮(zhèn)、賀家川鎮(zhèn)、爾林兔鎮(zhèn)、萬鎮(zhèn)、大保當(dāng)鎮(zhèn)、馬鎮(zhèn)、欄桿堡鎮(zhèn)、沙峁鎮(zhèn)、錦界鎮(zhèn)。

2012年末，神木縣面積7480.7平方千米，戶籍人口422100人，常住人口45.65萬人。2013年末，神木縣轄15個(gè)鎮(zhèn)，共有9個(gè)社區(qū)、665個(gè)行政村，縣政府駐神木鎮(zhèn)。