夏商周時，兗州為古九州之一，因兗水而得名。據(jù)《周禮》：“河?xùn)|曰兗州。”春秋元命苞云：“五星流為兗州。兗，端也，信也。”又云，“蓋取兗水以名焉。”漢武帝置十三州，以舊名為兗州，自此不改。
春秋屬魯國稱負(fù)瑕，隋改稱魯郡，唐又復(fù)稱兗州，宋稱襲慶府，金改嵫陽縣，明、清皆為兗州府治。1962年始稱兗州縣。1992年3月1日，撤銷兗州縣，設(shè)立兗州市（縣級），其行政區(qū)域和政府駐地不變。同年9月兗州市正式掛牌成立。
2013年10月18日，《國務(wù)院關(guān)于同意山東省調(diào)整濟(jì)寧市部分行政區(qū)劃的批復(fù)》（國函[2013]115號）同意撤銷兗州市，設(shè)立濟(jì)寧市兗州區(qū)，以原兗州市的行政區(qū)域?yàn)閮贾輩^(qū)的行政區(qū)域。兗州區(qū)人民政府駐龍橋街道九州中路99號。
1992年4月25日，撤銷堡子鄉(xiāng)，設(shè)立興隆莊鎮(zhèn)。1994年9月7日，撤銷城郊鄉(xiāng)，設(shè)立新兗鎮(zhèn)。1995年12月18日，撤銷黃屯鄉(xiāng)、谷村鄉(xiāng)，設(shè)立黃屯鎮(zhèn)、谷村鎮(zhèn)。至此，兗州市面積641.6平方千米，人口約58.5萬人。轄9個鎮(zhèn)、4個鄉(xiāng)：兗州鎮(zhèn)、新兗鎮(zhèn)、谷村鎮(zhèn)、大安鎮(zhèn)、新驛鎮(zhèn)、顏店鎮(zhèn)、黃屯鎮(zhèn)、王因鎮(zhèn)、興隆莊鎮(zhèn)、漕河鄉(xiāng)、小孟鄉(xiāng)、前海鄉(xiāng)、泗莊鄉(xiāng)。市政府駐兗州鎮(zhèn)。
1996年8月12日，撤銷泗莊鄉(xiāng)，設(shè)立泗莊鎮(zhèn)，其行政區(qū)域不變，政府駐地由泗莊遷至薛廟西兗顏公路3.5千米處，行政區(qū)域邊界以濟(jì)政呈[1996]47號文所附1：5萬地形圖上標(biāo)繪的界線為準(zhǔn)（魯政函民字[1996]39號）。1999年12月6日，撤銷漕河鄉(xiāng)，設(shè)立漕河鎮(zhèn)（魯政函民字[1999]34號）。至此，兗州市轄11個鎮(zhèn)、2個鄉(xiāng)。
2000年第五次人口普查，兗州市總?cè)丝?98387人，其中：兗州鎮(zhèn)86593人，新兗鎮(zhèn)77065人，谷村鎮(zhèn)36163人，大安鎮(zhèn)47339人，新驛鎮(zhèn)47920人，顏店鎮(zhèn)35741人，泗莊鎮(zhèn)29810人，黃屯鎮(zhèn)26636人，王因鎮(zhèn)56818人，興隆莊鎮(zhèn)58218人，漕河鎮(zhèn)30176人，前海鄉(xiāng)29488人，小盂鄉(xiāng)36420人。
2000年12月1日，山東省政府（魯政函民字[2000]66號）批準(zhǔn)：撤銷兗州鎮(zhèn)，設(shè)立鼓樓、永安兩個街道辦事處。鼓樓街道辦事處轄鼓樓、少陵、惠民、韋園、南順城、奎星樓、苗圃、校場、榕花園、神路、崗子街、東關(guān)、查官園、鄧家窯、軍民、興隆、文東、大觀門、塔前19個居委會，辦事處機(jī)關(guān)駐文化東路4號；永安街道辦事處轄息馬地、鐘樓、民族、蓮花、白衣堂、中御橋、南環(huán)、新興、紅西、長安、文西11個居委會，辦事處機(jī)關(guān)駐中山西路239號。撤銷泗莊鎮(zhèn)，將其行政區(qū)域并入新兗鎮(zhèn)；撤銷前海鄉(xiāng)，將其行政區(qū)域并入顏店鎮(zhèn)。兗州市轄2個街道、9個鎮(zhèn)、1個鄉(xiāng)：鼓樓街道、永安街道、新兗鎮(zhèn)、谷村鎮(zhèn)、大安鎮(zhèn)、新驛鎮(zhèn)、顏店鎮(zhèn)、黃屯鎮(zhèn)、王因鎮(zhèn)、興隆莊鎮(zhèn)、小孟鎮(zhèn)、漕河鄉(xiāng)。
2002年7月，省政府批復(fù)同意：撤銷小孟鄉(xiāng)，設(shè)立小孟鎮(zhèn)，其行政區(qū)域和政府駐地不變。2002年底，兗州市轄2個街道、10個鎮(zhèn)：鼓樓街道、永安街道、新兗鎮(zhèn)、谷村鎮(zhèn)、大安鎮(zhèn)、新驛鎮(zhèn)、顏店鎮(zhèn)、黃屯鎮(zhèn)、王因鎮(zhèn)、興隆莊鎮(zhèn)、漕河鎮(zhèn)、小孟鎮(zhèn)。
兗州市轄2個街道、10個鎮(zhèn)，30個居委會、492個村委會，530個自然村。總面積653.4平方千米，總?cè)丝?04976人。其中王因鎮(zhèn)、黃屯鎮(zhèn)由濟(jì)寧高新區(qū)管理。（根據(jù)“濟(jì)寧地名網(wǎng)”，估計(jì)為2004年統(tǒng)計(jì)數(shù)據(jù)）
2005年8月17日，經(jīng)山東省政府同意，將黃屯鎮(zhèn)東稻營、西稻營、楊廠、東張莊、老府莊、金家村等6個村劃歸新兗鎮(zhèn)管轄。
2007年底，全市總面積648.2平方千米。總?cè)丝?1.35萬人，其中城鎮(zhèn)人口27.61萬人，人口城鎮(zhèn)化率45％。轄2個街道、10個鎮(zhèn)：鼓樓街道、永安街道、大安鎮(zhèn)、新驛鎮(zhèn)、顏店鎮(zhèn)、王因鎮(zhèn)、新兗鎮(zhèn)、谷村鎮(zhèn)、漕河鎮(zhèn)、黃屯鎮(zhèn)、興隆莊鎮(zhèn)、小孟鎮(zhèn)。共有522個行政村（居委會）。
2008年5月，根據(jù)山東省政府《關(guān)于同意調(diào)整兗州市部分行政區(qū)劃的批復(fù)》（魯政函民字[2008]13號）、濟(jì)寧市政府《關(guān)于調(diào)整兗州市行政區(qū)劃的通知》（濟(jì)政字[2008]88號）、濟(jì)寧市新型鄉(xiāng)鎮(zhèn)建設(shè)試點(diǎn)工作領(lǐng)導(dǎo)小組《關(guān)于公布新型鄉(xiāng)鎮(zhèn)建設(shè)試點(diǎn)單位及政區(qū)劃調(diào)整方案》（濟(jì)新鎮(zhèn)發(fā)[2008]1號文件精神），兗州市進(jìn)行以下行政區(qū)劃調(diào)整：（1）撤銷谷村鎮(zhèn)，將新兗鎮(zhèn)楚家洼村、高家廟、宋家村、董家村、朝陽村等5個村和谷村鎮(zhèn)整建制并入大安鎮(zhèn)；調(diào)整后的大安鎮(zhèn)與兗州經(jīng)濟(jì)開發(fā)區(qū)實(shí)行鎮(zhèn)區(qū)合一的管理體制，轄85個村，7.39萬人，總面積116.8平方千米。（2）撤銷永安街道，將新兗鎮(zhèn)永豐村、南關(guān)村、劉家崗村、紅花村、北關(guān)村等5個村和永安街道整建制并入鼓樓街道；調(diào)整后的鼓樓街道轄29個村居，人口12.1萬人，總面積17.21平方千米。（3）設(shè)立龍橋街道。將新兗鎮(zhèn)龍橋村、西關(guān)村、舊關(guān)村、六里井、牛王村、李廟村、韓家樓、東韓村、五里莊、范家莊、范家堂、薛家廟、劉官莊、任老莊、李家灣等15個村劃歸龍橋街道管轄。龍橋街道轄15個村委會。總面積15.51平方千米，人口3.2萬人，辦事處機(jī)關(guān)駐原永安街道辦事處機(jī)關(guān)駐地。（4）設(shè)立酒仙橋街道。將新兗鎮(zhèn)古城村、陳家村、傅家樓、琉璃廠、豆腐店、天仙廟、三河村、諸天寺、東關(guān)村等9個村和鼓樓街道的查官園、崗子街、東關(guān)、神路、軍民、鄧家窯等6個居委會劃歸酒仙橋街道辦事處管轄；按照“管轄分離”的方式，將泗河?xùn)|岸曲阜市時莊鎮(zhèn)的田家村、河頭村、焦家村三個行政村和陵城鎮(zhèn)的粉店、牛廠兩個自然村，劃歸酒仙橋街道管理。酒仙橋街道（不含管轄分離）轄6個社區(qū)、9個行政村，總面積11.65平方千米，人口3.9萬人，辦事處機(jī)關(guān)駐久益醫(yī)院內(nèi)。（5）調(diào)整后的新兗鎮(zhèn)與兗州新兗工業(yè)園實(shí)行鎮(zhèn)區(qū)合一的管理體制，轄51個行政村（共劃出34個村），總面積60.3平方千米，人口4.06萬人，鎮(zhèn)機(jī)關(guān)駐地遷至官莊村。調(diào)整后，全市轄3個街道、9個鎮(zhèn)：鼓樓街道、龍橋街道、酒仙橋街道、大安鎮(zhèn)、新驛鎮(zhèn)、顏店鎮(zhèn)、王因鎮(zhèn)、新兗鎮(zhèn)、漕河鎮(zhèn)、黃屯鎮(zhèn)、興隆莊鎮(zhèn)、小孟鎮(zhèn)。其中王因鎮(zhèn)、黃屯鎮(zhèn)由濟(jì)寧高新區(qū)管理。
2010年，撤銷王因鎮(zhèn)、黃屯鎮(zhèn)，設(shè)立王因街道、黃屯街道。調(diào)整后，全市轄5個街道、7個鎮(zhèn)：鼓樓街道、龍橋街道、酒仙橋街道、王因街道、黃屯街道、大安鎮(zhèn)、新驛鎮(zhèn)、顏店鎮(zhèn)、新兗鎮(zhèn)、漕河鎮(zhèn)、興隆莊鎮(zhèn)、小孟鎮(zhèn)。其中王因街道、黃屯街道由濟(jì)寧高新區(qū)管理。市政府駐龍橋街道。
2013年1月，《山東省人民政府關(guān)于同意調(diào)整兗州市部分行政區(qū)劃的批復(fù)》（魯政函民字[2013]2號）同意將大安鎮(zhèn)牛家屯、武家村、張家坡、穆家廟、夏家廟、辛北莊、前道義、后道義、牟家屯、大南鋪、夏家村、張陳、大徐村、坊里村、大胡街、宋家廟、西韓村、五爐村、曹家洼、周家樓、官路口、劉家村、小徐村、閻家村、張家村、尹家村、前吳村、王家村、宋家村、董家村、曹陽村、高廟、楚家洼等33個行政村和山拖社區(qū)劃歸新兗鎮(zhèn)。