春秋戰國屬吳、越、楚。秦、漢分屬余汗縣地及太末縣地，后漢建安年間（196－220）分屬葛陽縣地及新安縣地，建安二十二年（217年）分新安立定陽縣。晉屬葛陽、信安縣地。唐武德四年（公元621年）屬弋陽、須江、常山縣地。武周證圣元年（695年）析弋陽、須江及常山置玉山縣，因境內有環玉山而得名，屬衢州。
　　宋乾元元年（758年），屬信州。元屬信州路。明洪武四年（1317年）改隸江西廣信府。清沿明制。1914年隸于豫章道。1926年廢道隸于省。1932年屬第六行政區。1949年5月5日解放后屬上饒專區（地區）。現屬上饒市。

　　1981年，設立玉山縣少華、林崗人民公社。1985年4月18日，設立懷玉、三清鄉（贛府廳字[1985]230號）。
　　1992年7月27日，撤銷仙巖鄉、下鎮鄉、巖瑞鄉、白云鄉、臨湖鄉、雙明鄉、樟樹鄉、橫村鄉，設立仙巖鎮、下鎮鎮、巖瑞鎮、白云鎮、臨湖鎮、雙明鎮、樟樹鎮、橫街鎮（贛民字[1992]138號批復）。1994年3月12日，撤銷文成鄉、紫湖鄉，設立文成鎮、紫湖鎮（贛民字[1994]40號批復）。
　　1996年3月19日，撤銷必姆鄉，設立必姆鎮（贛民字[1996]51號批復）。1996年12月20日，將林崗鄉的縣后山、許家、蓮塘、小徐、下徐五個行政村和東津橋行政村的西津村民小組，文成鎮的文成、金交、后壟三個行政村六都鄉的殿口行政村成建制劃歸冰溪鎮管轄（贛民字[1996]284號批復）。
　　1997年3月21日，妼姆鎮更名為必姆鎮（贛民字[1997]59號批復）。至此，全縣轄12個鎮、12個鄉：冰溪鎮、紫湖鎮、雙明鎮、白云鎮、樟村鎮、巖瑞鎮、橫街鎮、下鎮鎮、文成鎮、臨湖鎮、仙巖鎮、必姆鎮、三清鄉、懷玉鄉、少華鄉、童坊鄉、南山鄉、四股橋鄉、林崗鄉、六都鄉、群力鄉、下塘鄉、華村鄉、官溪鄉。總面積1722.6平方千米，人口52萬。縣政府駐冰溪鎮。
　　1999年12月31日，林崗鄉政府駐地遷至潘家（贛民字[1999]292號批復）。
　　2000年第五次人口普查，全縣總人口515934人，其中：冰溪鎮66640人、臨湖鎮31958人、必姆鎮27201人、橫街鎮30931人、文成鎮27608人、下鎮鎮42690人、巖瑞鎮18932人、白云鎮17162人、雙明鎮19427人、紫湖鎮21733人、仙巖鎮17184人、樟村鎮28919人、南山鄉20866人、童坊鄉15668人、下塘鄉20677人、四股橋鄉27725人、少華鄉5998人、懷玉鄉3231人、林崗鄉12760人、六都鄉12160人、華村鄉15691人、群力鄉14298人、官溪鄉11966人、三清鄉4509人。
　　2001年11月8日，撤銷群力鄉，劃歸六都鄉；撤銷官溪鄉，劃歸仙巖鎮；撤銷林崗鄉，劃歸巖瑞鎮；撤銷少華鄉，劃歸雙明鎮；撤銷童坊鄉，劃歸懷玉鄉（贛民字[2001]508號批復）。
　　2002年底，玉山縣轄12個鎮、7個鄉，16個居委會、273個行政村。2003年底，全縣轄12個鎮、7個鄉，總人口54.5萬人。
　　2006年1月20日，撤銷華村鄉，成建制劃歸六都鄉管轄；撤銷白云鎮，成建制劃歸巖瑞鎮管轄（贛民字[2006]5號批復）。2006年末戶籍總人口563156人（包括三管委）。