東漢建安四年（199）置遂興縣，治遂水之口（今萬安縣五豐鄉云洲）。三國吳嘉禾四年（235）易名新興縣。晉太康元年（280），徙縣治于上流光化鄉景云觀（今雩田鎮中洲，民間稱“舊縣”），復名遂興，隸屬廬陵郡。隋開皇十年（590）廢遂興等六縣，設置安豐縣，遂興為其一部分，次年改安豐為泰和縣。
　　南唐保大元年（943）析泰和縣龍泉鄉什善鎮置龍泉場，中興三年（960）升場置龍泉縣，治水南十七都慈云寺（今泉江鎮小溪村境內）。北宋宣和三年（1121）改名為泉江縣。南宋紹興元年（1131）復名龍泉縣，隸屬江南西路吉州軍。1914年，為避與浙江、貴州兩省之龍泉縣同名，改名為遂川縣。1932年屬第10行政區，1935年屬第3行政區。1949年8月2日遂川解放，先后屬江西省贛西南區、吉安分區、吉安專區、井岡山專區、井岡山地區、吉安地區。2000年6月，屬地級吉安市。

　　1986年2月15日，撤銷雩田鄉，設置雩田鎮（贛府廳字[1986]64號批復）。1993年，撤銷大汾鄉、草林鄉、左安鄉、碧洲鄉、堆子前鄉、高坪鄉，設立大汾鎮、草林鎮、左安鎮、碧洲鎮、堆子前鎮、高坪鎮（贛民字[1993]53號批復）。1995年3月10日，設立車坳鄉，管轄五豐江鄉的車坳、江口、大春坪、聯橋村和新江鄉的小湖村，鄉政府設駐車坳村（贛民字[1995]34號批復）。1995年3月10日，撤銷瑤下鄉建制，將其所轄區域并入泉江鎮（贛民字[1995]35號批復）。
　　1997年，全縣面積3101.9平方千米，人口49.5萬，轄8個鎮、22個鄉：泉江鎮、碧洲鎮、雩田鎮、草林鎮、堆子前鎮、左安鎮、高坪鎮、大汾鎮、珠田鄉、巾石鄉、枚江鄉、盆珠鄉、上坑鄉、橫嶺鄉、衙前鄉、雙橋鄉、新江鄉、五斗江鄉、禾源鄉、西溪鄉、南江鄉、黃坑鄉、揚芬鄉、湯湖鄉、滁洲鄉、七嶺鄉、戴家埔鄉、營盤圩鄉、車坳鄉、大坑鄉。
　　2000年第五次人口普查，全縣總人口506955人；其中：泉江鎮76846人、雩田鎮46528人、草林鎮29429人、碧洲鎮12442人、堆子前鎮19350人、左安鎮22316人、高坪鎮14651人、大汾鎮29297人、珠田鄉20286人、巾石鄉23282人、盆珠鄉13511人、上坑鄉5850人、大坑鄉14868人、枚江鄉19119人、橫嶺鄉6651人、衙前鄉12098人、雙橋鄉6245人、新江鄉10569人、五斗江鄉12700人、禾源鄉20576人、西溪鄉14340人、南江鄉10703人、黃坑鄉16964人、揚芬鄉848Z人、湯湖鄉16230人、滁洲鄉5645人、七嶺鄉5424人、戴家埔鄉7854人、營盤圩鄉4699人。
　　2000年12月29日，撤銷車坳鄉，將其所轄車坳、聯橋行政村劃歸五斗江鄉，小湖行政村劃歸新江鄉（贛民字[2000]396號批復）。至此，全縣轄8個鎮、21個鄉。
　　2001年12月3日，撤銷盆珠鄉、上坑鄉，劃歸泉江鎮；撤銷橫嶺鄉，劃歸雩田鎮；撤銷滁洲鄉，劃歸大汾鎮；撤銷七嶺鄉，劃歸戴家埔鄉，鄉政府駐地遷至托里；撤銷揚芬鄉，劃歸左安鎮；撤銷禾源鄉、衙前鄉、湯湖鄉，設立禾源鎮、衙前鎮、湯湖鎮（贛民字[2001]569號批復）。
　　2002年底，遂川縣轄11個鎮、12個鄉，10個居委會、379個行政村。2003年底，全縣總人口52.2萬人。2005年末全縣戶籍總人口為530359人，其中鄉村人口489307人。