秦置任城縣；因地瀕濟水，五代時又設濟州，初治巨野；但金時巨野一帶常被水淹，而任城地勢高亢，遂遷之。元時則地取安寧意，始有濟寧之稱。建國以來，濟寧的行政區劃有多次較大的變動。1949年分屬于魯中南行署的尼山、臺棗兩個專區。1950年行署撤銷后，尼山、臺棗兩專區合并為滕縣專區。1953年滕縣專區與湖西專區合并，改為濟寧專區，轄十四個縣市。1958年曾與菏澤合并。1959年濟寧、菏澤兩個專區又在原來的基礎上分開。
1983年8月30日，國務院批準撤銷濟寧地區，濟寧市升為地級市；撤銷濟寧縣，將其轄區并入濟寧市。濟寧地區的兗州、曲阜、鄒縣、嘉祥、金鄉、魚臺、微山等7個縣劃歸濟寧市；原濟寧地區的汶上、泗水2縣劃歸泰安地區。
1985年3月22日，國務院批準將原泰安地區的汶上縣、泗水縣劃歸濟寧市管轄。1989年12月2日，國務院批準將菏澤地區的梁山縣劃歸濟寧市管轄。1992年3月1日，撤銷兗州縣，設立兗州市。1992年10月4日，撤銷鄒縣，設立鄒城市。1993年12月14日，濟寧市郊區更名為濟寧市任城區。
2000年第五次全國人口普查，濟寧市總人口7740281人，其中：市中區400978人，任城區649544人，微山縣645728人，魚臺縣426172人，金鄉縣602555人，嘉樣縣761086人，汶上縣702095人，泗水縣552028人，粱山縣675392人，曲阜市625313人，兗州市598387人，鄒城市1101003人。
2002年12月31日末，全市共有18個街道、96個鎮、39個鄉。2003年3月19日，經濟寧市政府同意，高新區柳行街道辦事處黃莊村、江莊村、蘇東村、蘇西村、楊樓村劃歸洸河街道辦事處管理。
濟寧市轄2個市轄區、7個縣，代管3個縣級市，共22個街道、94個鎮、39個鄉。共244個居委會、6438個村委會，8345個自然村。總面積1.1萬平方千米，總人口8023035人。其中：任城區的柳行街道、兗州市的王因鎮、黃屯鎮和市政府批準成立的洸河街道現由濟寧高新區管理；曲阜市的陵城鎮、小雪鎮、息陬鄉現由濟寧市曲阜新區管理。（根據“濟寧地名網”資料整理。估計為2004年統計數據）
2008年，將濟寧市市中區金城街道辦事處劃歸任城區管轄，將任城區安居鎮劃歸市中區管轄。此次區劃調整，確定市中區和任城區的區劃界線是，原則上以洸河路為界，東起琵琶山路，沿洸河路西行至環城西路，沿金城街道與古槐街道邊界及金城街道與濟陽街道邊界至太白樓西路西行至梁濟運河。此線以南劃歸市中區，此線以北劃歸任城區。（1）市中區的管轄范圍是，在保留古槐、阜橋、越河、濟陽、觀音閣、南苑6個街道的基礎上，將仙營街道洸河路以南6個社區（新劉莊、劉莊、菜市、紅星新村、蔣林、后鋪）并入阜橋街道。將金城街道太白樓西路以南部分劃歸濟陽街道。將任城區南張鎮太白樓西路以南的后營村劃歸濟陽街道。將任城區的安居鎮整建制劃歸市中區。（2）任城區的管轄范圍是，在保留原石橋、接莊、南張、長溝、二十里鋪、李營6個鎮的基礎上，將金城街道太白樓西路以北部分劃歸任城區管轄，保留金城街道建制。將仙營街道洸河路以北5個社區（南戴莊、謝營、秦莊、仙營、東紅廟）劃歸任城區管轄，仍保留仙營街道建制。將安居鎮、喻屯鎮、唐口鎮整建制劃歸市中區，南張鎮太白樓西路以南的后營村劃歸市中區濟陽街道辦事處，三賈街道辦事處整建制并入接莊鎮，與任城經濟開發區合為一體。（3）為了保持行政區劃的完整性并有利于運河沿岸的綜合開發，將任城區的唐口鎮、喻屯鎮整建制劃歸市中區管理。（4）調整后，市中區總面積379平方千米，總人口52萬人，轄6個街道和3個鎮；任城區總面積416平方千米，戶籍人口44萬人，轄2個街道和6個鎮，317個行政村（居委會）。由高新區管理的柳行、洸河街道及由北湖旅游度假區管理的許莊街道在行政版圖上歸任城區。
2011年末，全市共有41個街道、95個鎮、20個鄉。
2013年10月18日，《國務院關于同意山東省調整濟寧市部分行政區劃的批復》（國函[2013]115號）同意：一、撤銷濟寧市市中區、任城區，設立新的濟寧市任城區，以原市中區、任城區的行政區域為新設任城區的行政區域。新設任城區人民政府駐阜橋街道太白中路4號。二、撤銷兗州市，設立濟寧市兗州區，以原兗州市的行政區域為兗州區的行政區域。兗州區人民政府駐龍橋街道九州中路99號。【11月20日，《山東省人民政府關于調整濟寧市部分行政區劃的通知》（魯政字[2013]226號）】
根據國務院《批復》和省政府《通知》精神，濟寧市調整部分行政區劃：合并市中區、任城區，設立新的任城區；撤銷兗州市，設立兗州區；擴大濟寧高新區、太白湖新區管理范圍，將任城區接莊街道劃歸濟寧高新區管理，將任城區石橋鎮劃歸太白湖新區管理；在西部設立濟寧經濟技術開發區和商貿物流園區。通過這次區劃調整，濟寧市區行政區域面積由884平方千米拓展到1534平方千米，人口由113.8萬人增加到177.5萬人。新的任城區管轄面積624平方千米、人口86.7萬人，兗州區管轄面積535平方千米、人口52萬人，高新區管理面積255平方千米、人口28.2萬人，太白湖新區管理面積119.7平方千米、人口11萬人，濟寧經濟技術開發區和商貿物流園區管理面積128平方千米、人口11.2萬人。