清遠，取清明廣遠之意。春秋戰國時，清遠地區屬百粵。秦統一中國后，設置行政機構，開發嶺南，清遠地區屬南海郡、長沙郡。漢初，屬趙佗稱號的南越國。高祖年間（前206—195年）先后置桂陽縣（今連州一帶）、陽山縣、湞陽縣和含匡縣（湞、含今為英德市境），均屬桂陽郡。元鼎六年（前111年），置中宿縣（原清遠縣一帶），屬南海郡。三國時，各縣隸屬始興郡。

南朝梁天監年間（502—519）置清遠郡，清遠之名由此而始，轄中宿、威正、平、恩洽、浮護五縣。還置陽山郡，轄陽山、桂陽、廣德（后改稱廣澤、連山）等縣。在含匡設衡州，領陽山郡。隋開皇十年（590年），廢清遠郡及其所屬的中宿等縣，置清遠縣、政賓縣（今清新縣濱江一帶），仍屬于南海郡。同時，廢陽山郡改置連州，把衡州改名為匡州。二十年（600年），廢匡州，其屬縣改隸廣州府。唐武德六年（623年），政賓縣并入清遠縣，屬廣州府。天寶元年（742年），連州改置連山郡。

五代南漢乾享五年（921年）于湞陽縣設英州。宋宣和二年（1120年），英州改置真陽郡，含匡、湞陽先后改名為含光縣、真陽縣。慶元元年（1195年），真陽郡升為英德府。元至元十五年（1278年），英德府改為英德路總管府，不久又降為州，并含光、真陽縣。慶元元年（1195年），真陽郡升為英德府。明洪武二年（1396年），英德州改置英德縣，屬韶州府。十四年，連州和陽山、連山二縣改屬廣州府。

清雍正五年（1727年），連州為廣東省直隸州，領陽山、連山二縣。嘉慶十八年（1813年），由清遠、英德兩縣劃地設廣東布政司佛岡軍民廳（相當于縣級建制）。二十二年，連山縣改設綏瑤直隸軍民同知。宣統三年（1911年），復稱為縣。民國元年（1912年）連州改稱連縣。民國3年，佛岡改廳為縣。抗日戰爭期間，廣東省政府北遷連縣，清遠各縣均屬廣東省第二行政督察區（駐連縣）管轄。民國35年，由連山、連縣、陽山三縣劃地，新置連南縣。

中華人民共和國成立后，除佛岡縣曾先后歸屬韶關、廣州、佛山管轄外，各縣先后由北江行署、韶關專署、韶關行署管轄。1953年，連南與連山合并為連南瑤族自治（后改為縣）。1958年，連縣、連南、連山、陽山四縣合并，稱連陽各族自治縣。同年，佛岡、從化兩縣合并，稱從化縣。1960年恢復陽山縣。1961年恢復佛岡縣，屬廣州市轄。1961年，恢復連縣、連南瑤族自治縣。1962年，成立連山壯族瑤族縣。1963年，佛岡縣由廣州市劃為韶關地區管轄。1983年7月，韶關地市合并，將清遠、佛岡兩縣劃歸為廣州市，其余各縣屬韶關市管轄。

1988年1月7日，國務院批準撤銷清遠縣，設立清遠市，原清遠縣分為清城、清郊兩個市轄區，并劃廣州市市屬的佛岡縣和韶關市屬的縣、陽山縣、連山壯族瑤族自治縣、連南瑤族自治縣、英德縣為清遠市所屬。1992年清郊區改為清新縣。1994年，英德縣、連縣改為英德市、連州市（省轄縣級市，由清遠市代管）。

2000年第五次全國人口普查，清遠市總人口3146713人，其中：清城區506680人、佛岡縣255341人、陽山縣400776人、連山壯族瑤族自治縣99070人、連南瑤族自治縣133814人、清新縣531226人、英德市810446人、連州市409360人。

2002年，清遠市轄1個市轄區、3個縣、2個自治縣，代管2個縣級市，8個街道、137個鎮、2個鄉、3個民族鄉，1448個村委會、143個居委會。

清遠市從2002年開始進行鄉鎮大撤并。至2004年7月底，全市已撤并鄉鎮63個，撤并率達44.1%。清遠市原有鄉鎮143個，其中1.5萬人以下的鄉鎮有40個，萬人以下的鄉鎮有22個。連南瑤族自治縣的山聯鄉，在撤并前全鄉總人口只有1217人。各區縣市撤并情況：清城區：由7個鎮撤并為3個鎮；清新縣：由23個鎮撤并為9個鎮；佛岡縣：由12個鎮撤并為6個鎮；英德市：由33個鄉鎮撤并為23個鎮；連南縣：由12個鄉鎮撤并為7個鎮；連山縣：由12個鎮撤并為7個鎮；連州市：由22個鄉鎮撤并為12個鄉鎮；陽山縣：由22個鄉鎮撤并為13個鄉鎮。

2005年末，清遠市轄1個市轄區、3個縣、2個自治縣，代管2個縣級市，5個街道、77個鎮、3個民族鄉。

2012年12月，撤銷清新縣，設立清遠市清新區。調整后，清遠市轄2個市轄區、2個縣、2個自治縣，代管2個縣級市，即清城區、清新區、佛岡縣、陽山縣、連山壯族瑤族自治縣、連南瑤族自治縣、英德市、連州市。