春秋屬吳、越、楚，秦時屬九江郡。西漢高祖六年（公元前201年）置建城縣，屬豫章郡。東漢中平年間（184—189年）汝南（今河南）上蔡百姓遷到此地，置上蔡縣。西晉太康元年（280年）改為望蔡縣。南北朝梁（502—557年）屬豫章王國。隋開皇九年（589年）望蔡縣并入建城縣，屬洪州。
　　唐中和年間（881—884年）置上高鎮，以其地在高安上游故名。宋白曰，以地形高上而名也。南唐升元初（937年）置上高場，保大十年（952年）置上高縣，屬筠州。明洪武二年（1369年）屬瑞州府。1914年屬廬陵道，1926年屬江西省第八行政區。
　　1949年7月14日，上高解放，屬袁州專區，1952年9月屬南昌專區，1958年12月屬宜春專區，1968年2月屬宜春地區，2001年屬宜春市。

　　1985年4月18日，設立敖山、上甘山、大廟、墨山鄉（贛府廳字[1985]230號）。1985年4月21日，設置徐家渡、田心鎮（贛府廳字[1985]236號）。1997年8月18日，撤銷泗溪鄉、錦江鄉，設立泗溪鎮、錦江鎮；撤銷末山鄉，設立鎮建制，并更名為思泉鋪鎮（贛民字[1997]174號批復）。
　　1997年，上高縣面積1350.5平方千米，人口32萬。轄6個鎮、11個鄉：敖陽鎮、田心鎮、徐家渡鎮、錦江鎮、思泉鋪鎮、泗溪鎮、鎮渡鄉、蘆洲鄉、翰堂鄉、南港鄉、大廟鄉、蒙山鄉、新界埠鄉、上甘山鄉、塔下鄉、敖山鄉、野市鄉。縣政府駐敖陽鎮。
　　1998年12月7日，撤銷南港鄉，設立南港鎮（贛民字[1998]221號批復）。2000年2月25日，撤銷翰堂鄉，設立翰堂鎮（贛民字[2000]38號批復）。至此，全縣轄8個鎮、9個鄉。
　　2000年第五次人口普查，全縣總人口334535人；其中：敖陽鎮64380人、田心鎮37736人、徐家渡鎮27016人、錦江鎮28185人、翰堂鎮20267人、南港鎮13946人、泗溪鎮38530人、思泉鋪鎮8433人、蘆洲鄉15340人、塔下鄉7678人、蒙山鄉15033人、野市鄉8770人、新界埠鄉19866人、鎮渡鄉9974人、大廟鄉4545人、上甘山鄉5728人、敖山鄉9108人。
　　2002年底，上高縣轄8個鎮、9個鄉，10個居委會、190個行政村。
　　2003年8月19日，撤銷敖陽鎮建制，設立敖陽街道辦事處；撤銷敖山鄉，成建制劃歸野市鄉管轄；撤銷大廟鄉，成建制劃歸南港鎮管轄；撤銷思泉鋪鎮，成建制劃歸田心鎮管轄（贛民字[2003]193號批復）。2003年9月4日，撤銷上甘山鄉，成建制劃歸塔下鄉管轄（贛民字[2003]214號批復）。2003年底，全縣總人口33.7萬人，轄1個街道、6個鎮、6個鄉。
　　2005年12月13日，《關于上高縣調整部分行政區域的批復》（贛民字[2005]150號）：同意將敖陽街道辦事處所轄的五馬、何家垴行政村劃歸錦江鎮管轄。年末全縣總人口345975人，其中非農業人口11.1萬人。2006年年末總人口346303人。