隋開皇十年(590年)置連州，因連口水得名。一說因有黃蓮嶺得名。1912年改連縣。1994年設市。

2000年，連州市轄連州、附城、西岸、清水、東陂、豐陽、大路邊、星子、龍坪、保安、朱崗、清江、山塘、潭嶺、麻步、朝天、西江、高山、龍潭、九陂20個鎮，三水、瑤安2個瑤族鄉。

2000年第五次全國人口普查，全市總人口409360人，其中：連州鎮107269人、星子鎮35309人、大路邊鎮25228人、龍坪鎮16892人、西岸鎮27912人、保安鎮25674人、豐陽鎮14131人、東陂鎮23730人、清水鎮9173人、九陂鎮19808人、高山鎮3392人、朝天鎮8330人、附城鎮16165人、朱崗鎮9319人、潭嶺鎮2636人、龍潭鎮5781人、清江鎮13500人、山塘鎮15548人、西江鎮8536人、麻步鎮8258人、瑤安瑤族鄉9660人、三水瑤族鄉3109人。

2002年，連州市轄連洲、保安、星子、龍坪、清水、西岸、東陂、豐陽、清江、麻步、山塘、潭嶺、朝天、西江、高山、龍潭、九陂、附城、朱崗、大路邊20個鎮和瑤安瑤族、三水瑤族2個民族鄉，207個村委會、18個居委會。

2003年，據《清遠日報》報道：連州市將在年底前撤并山塘、清江、潭嶺等9個鎮（鄉）。鎮（鄉）總數將由原來的22個變為12個。村級撤并工作將在2004年底前完成。連州市鄉鎮撤并后，初步形成了中心鎮格局，以該市巾峰山為界，山上片保留了龍坪、星子、大路邊、西江4個中心集鎮；山下片保留了連州、東陂、九陂、保安、豐陽、西岸6個中心集鎮和三水、瑤安2個民族鄉。其中有9個鎮人口超過3萬人。

2009年末，連州市轄連州、保安、星子、龍坪、西岸、東陂、豐陽、西江、九陂、大路邊10個鎮和瑤安瑤族、三水瑤族2個民族鄉，10個社區、163個行政村。市政府駐連州鎮。