清遠(yuǎn)市境在先秦時(shí)代，為古越族各部落聚居地。
西漢初年開始建縣，首置桂陽(yáng)縣（轄今連州、連南、連山縣地，縣治在今連州鎮(zhèn)）。
南朝起，在建置縣級(jí)行政的基礎(chǔ)上，開始設(shè)郡置州：梁天監(jiān)六年（507），分湘、廣二州置衡州（治在含洭）；以陽(yáng)山、桂陽(yáng)、含洭、廣惠（亦名廣德）4縣。
明代在全國(guó)的政區(qū)設(shè)置分為布政司（初期為行�。�、府（直隸州）、縣（散州）三級(jí)。
這一時(shí)期清遠(yuǎn)境內(nèi)政區(qū)設(shè)置變動(dòng)，英德州降格為英德縣，屬韶州府；撤銷桂陽(yáng)州，并入連山縣。
洪武十三年，又在原來桂陽(yáng)州的治所設(shè)立連州（即后來的連縣）。
洪武十四年，連州及其所轄的陽(yáng)山縣和連山縣改屬?gòu)V州府。
萬歷十年（1582），清遠(yuǎn)政區(qū)有：清遠(yuǎn)縣、連州及所領(lǐng)陽(yáng)山、連山2縣，隸廣東布政司廣州府；英德縣，隸廣東布政司韶州府。
清代康熙至乾隆十一年（1746），這一時(shí)期清遠(yuǎn)境內(nèi)政區(qū)設(shè)置變動(dòng)，只是佛岡直隸廳的設(shè)立。
清雍正七年（1729），連州改為直隸州，直隸廣東布政司，轄陽(yáng)山、連山2縣。
嘉慶十八年（1813），清朝從清遠(yuǎn)、英德2縣劃地設(shè)立佛岡直隸廳。
嘉慶二十一年，連山縣升格為連山綏瑤直隸廳，統(tǒng)管“連陽(yáng)”瑤務(wù)，宣統(tǒng)三年（1911）復(fù)稱連山縣。
嘉慶二十五年（1820），清遠(yuǎn)境內(nèi)設(shè)置的政區(qū)有1個(gè)直隸州：連州，屬南韶連道，直隸廣東布政司；2個(gè)直隸廳：佛岡、連山，分別屬?gòu)V肇羅道和南韶連道，直隸廣東布政司；3個(gè)縣：清遠(yuǎn)、英德、陽(yáng)山，分別隸屬?gòu)V肇羅道廣州府、南韶連道韶州府、南韶連道連州。
中華民國(guó)建立后，清遠(yuǎn)的名稱和范圍與清代相同，但將府直轄地及州、廳皆改為縣，成為省、縣二級(jí)制，并于省、縣之間分區(qū)相繼設(shè)置綏靖區(qū)、行政區(qū)、行政督察區(qū)。
1912年，連州、連山直隸廳分別改為連縣、連山縣。
1914年，佛岡直隸廳改為佛岡縣。
1947年，國(guó)民政府設(shè)立連南縣，隸屬?gòu)V東第二專署行政督察區(qū)。
1983年7月，韶關(guān)實(shí)行市管縣新體制，清遠(yuǎn)、佛岡兩縣從韶關(guān)地區(qū)劃歸廣州市管轄。
1988年1月7日，國(guó)務(wù)院批準(zhǔn)撤銷清遠(yuǎn)縣，設(shè)立地級(jí)清遠(yuǎn)市，原清遠(yuǎn)縣分為清城、清郊兩個(gè)市轄區(qū)，并劃廣州市屬的佛岡縣和韶關(guān)市屬的英德縣、陽(yáng)山縣、連縣、連南瑤族自治縣、連山壯族瑤族自治縣為清遠(yuǎn)市所轄。
1992年清郊區(qū)改稱清新縣;1994年，英德、連縣改為縣級(jí)市（連縣稱連州市），由清遠(yuǎn)市代管。
2012年11月，國(guó)務(wù)院批復(fù)同意撤銷清新縣，設(shè)立清遠(yuǎn)市清新區(qū)。