秦為象郡地，漢為合浦郡合浦縣地。唐武德五年（622）始設石城縣，天寶元年（742）改濂江縣，因縣西有濂江，故名。宋復置石城縣，民國三年（1914）改稱廉江縣。1993年12月10日，民政部批復（民行批[1993]241號）撤銷廉江縣，設立廉江市。

1996年，廉江市面積2835平方千米，人口134.2萬人。轄23個鎮：廉城鎮、安鋪鎮、石城鎮、河唇鎮、吉水鎮、石角鎮、良垌鎮、平坦鎮、新華鎮、橫山鎮、營仔鎮、車板鎮、青平鎮、石嶺鎮、龍灣鎮、雅塘鎮、石頸鎮、長山鎮、塘蓬鎮、和寮鎮、高橋鎮、新民鎮、河堤鎮。市政府駐廉城鎮。

2000年第五次人口普查，廉江市（轄22個鎮）總人口1205764人，其中：廉城鎮85368人，石城鎮104878人，新民鎮40620人，吉水鎮52813人，河唇鎮77004人，石角鎮41147人，良垌鎮53187人，平坦鎮24241人，新華鎮21121人，橫山鎮93482人，安鋪鎮100753人，營仔鎮70438人，青平鎮83134人，車板鎮35419人，高橋鎮24572人，石嶺鎮62071人，龍灣鎮22689人，雅塘鎮35491人，石頸鎮35390人，長山鎮48480人，塘蓬鎮62012人，和寮鎮31454人。

2002年，廉江市轄廉城、石角、河唇、平坦、良垌、新華、石城、新民、橫山、安埔、營仔、車板、龍灣、高橋、和寮、雅塘、青平、石嶺、石頸、長山、吉水、塘蓬22個鎮，334個村委會、44個居委會。

2005年末，廉江市轄羅州、城北、城南3個街道和石角、河唇、良垌、石城、新民、安埔、營仔、車板、橫山、高橋、和寮、雅塘、青平、石嶺、石頸、吉水、長山、塘蓬18個鎮。

2009年末，廉江市面積2543平方千米，轄3個街道、18個鎮，46個居委會、336個行政村。市政府駐羅州街道。