南雄春秋時為百越地，戰(zhàn)國屬楚，秦屬南海郡，兩漢為南野縣，三國時屬吳國南野縣盧陵郡。唐光宅元年（684年）析始興縣地置湞昌縣。南漢乾亨四年在湞昌縣置雄州，轄湞昌、始興縣。宋開寶四年（971年）改為南雄州。元朝為南雄路。明洪武元年置南雄府。清嘉慶十二年改為南雄直隸州。民國時（1912年）改為南雄縣，隸屬廣東省。1996年6月17日，民政部批復(fù)（民行批[1996]46號）撤銷南雄縣，設(shè)立南雄市（縣級）。

1996年，南雄市面積2469平方千米，人口約50萬人。轄24個鎮(zhèn)：雄州鎮(zhèn)、百順鎮(zhèn)、瀾河鎮(zhèn)、帽子峰鎮(zhèn)、全安鎮(zhèn)、蒼石鎮(zhèn)、古市鎮(zhèn)、主田鎮(zhèn)、黎口鎮(zhèn)、珠璣鎮(zhèn)、梅嶺鎮(zhèn)、鄧坊鎮(zhèn)、湖口鎮(zhèn)、黃坑鎮(zhèn)、孔江鎮(zhèn)、烏逕鎮(zhèn)、大塘鎮(zhèn)、油山鎮(zhèn)、新龍鎮(zhèn)、坪田鎮(zhèn)、界址鎮(zhèn)、江頭鎮(zhèn)、水口鎮(zhèn)、南畝鎮(zhèn)�？h政府駐雄州鎮(zhèn)。

2000年第五次人口普查，南雄市常住總?cè)丝?72844人，其中：烏逕鎮(zhèn)26303人、孔江鎮(zhèn)6509人、新龍鎮(zhèn)10087人、界址鎮(zhèn)9975人、坪田鎮(zhèn)8832人、黃坑鎮(zhèn)19652人、鄧坊鎮(zhèn)9533人、油山鎮(zhèn)7712人、大塘鎮(zhèn)17727人、南畝鎮(zhèn)11340人、水口鎮(zhèn)17427人、江頭鎮(zhèn)8462人、湖口鎮(zhèn)26516人、珠璣鎮(zhèn)26055人、梅嶺鎮(zhèn)7081人、主田鎮(zhèn)10465人、古市鎮(zhèn)16503人、黎口鎮(zhèn)18912人、全安鎮(zhèn)16878人、蒼石鎮(zhèn)3363人、百順鎮(zhèn)9997人、瀾河鎮(zhèn)7796人、帽子峰鎮(zhèn)7187人、雄州鎮(zhèn)68532人。

？年，撤銷孔江鎮(zhèn)，并入烏逕鎮(zhèn)；撤銷新龍鎮(zhèn)，并入坪田鎮(zhèn)；撤銷蒼石鎮(zhèn)，并入全安鎮(zhèn)；撤銷大塘鎮(zhèn)、油山鎮(zhèn)，合并設(shè)立新的油山鎮(zhèn)，并將原油山鎮(zhèn)的茶頭背、上湖、蘭田等村劃入鄧坊鎮(zhèn)。調(diào)整后，南雄市轄20個鎮(zhèn)。

2005年1月26日，廣東省民政廳（粵民區(qū)[2005]8號）批準(zhǔn)撤銷梅嶺鎮(zhèn)，并入珠璣鎮(zhèn)；撤銷黎口鎮(zhèn)，并入雄州鎮(zhèn)（注：6月上旬實施）。7月6日，廣東省民政廳（粵民區(qū)[2005]35號）批準(zhǔn)撤銷雄州鎮(zhèn)，設(shè)立雄州街道。調(diào)整后，南雄市轄雄州街道和珠璣、湖口、黃坑、烏逕、界址、水口、古市、百順、瀾河、鄧坊、油山、南畝、坪田、江頭、主田、全安、帽子峰17個鎮(zhèn)。

2008年末，南雄市戶籍總?cè)丝?64126人，其中非農(nóng)業(yè)人口84355人。2009年末，南雄市轄1個街道、17個鎮(zhèn)，24個居委會、208個行政村。市政府駐雄州街道。

2010年第六次人口普查，南雄市常住總?cè)丝?16179人，其中：雄州街道105358人，烏逕鎮(zhèn)27850人，界址鎮(zhèn)8219人，坪田鎮(zhèn)12955人，黃坑鎮(zhèn)15997人，鄧坊鎮(zhèn)9210人，油山鎮(zhèn)17437人，南畝鎮(zhèn)8942人，水口鎮(zhèn)11426人，江頭鎮(zhèn)6861人，湖口鎮(zhèn)17294人，珠璣鎮(zhèn)23764人，主田鎮(zhèn)5781人，古市鎮(zhèn)11919人，全安鎮(zhèn)14898人，百順鎮(zhèn)7281人，瀾河鎮(zhèn)5951人，帽子峰鎮(zhèn)4899人，南雄市精細(xì)化工基地137人。

2011年末，南雄市總面積2361.4平方千米，常住人口32.02萬人；戶籍人口473469人，其中農(nóng)業(yè)人口367187人。轄17個鎮(zhèn)、1個街道，232個村（居）。

2014年，珠璣鎮(zhèn)被列為全國重點鎮(zhèn)。