菏澤”原系天然古澤，為“菏山”和“雷澤”簡稱。西周為曹、貫、黎、郜等國地，戰國置陶郡。秦分屬東郡、碣郡，西漢建元三年置濟陰郡、治定陶。北魏析置北濟陰郡，治單父，隋復并為濟陰郡。唐武德初改郡為曹州，北宋崇寧初升為興仁府，金天會八年復為曹州。明洪武四年降曹州為縣，正統十一年復置曹州。清雍正十三年（1735年），曹州升為府，設附郭縣，賜名菏澤，以古澤藪而得名。

1949年3月，華北人民政府決定將冀魯豫第二、三、五、七專區分別更名為臨河、湖西、魯西南、運西專區；8月，平原省建立，臨河、魯西南及運西的一部分合并為菏澤專區，與湖西專區同屬平原省人民政府。1952年11月，中央人民政府批準撤銷平原省建制，菏澤、湖西兩專區劃歸山東省。1953年7月20日，中央人民政府批準山東省撤銷湖西專區，其所轄縣分別歸菏澤專區（成武、巨野二縣）、濟寧專區。

1958年11月12日，國務院批準撤銷菏澤專區建制，所屬各縣劃歸濟寧專區。1959年6月，恢復菏澤專區，轄區如舊。1967年3月，改菏澤專區為菏澤地區。1996年，菏澤地區面積1.2萬平方千米，人口約820萬人，其中漢族占99%以上，地區行政公署駐菏澤市，轄荷澤市和鄄城、東明、鄆城、巨野、單縣、成武、定陶、曹縣8縣。

2000年6月23日，國務院批準，撤銷菏澤地區和縣級菏澤市，設立地級菏澤市。菏澤市設立牡丹區，以原縣級菏澤市的行政區域為牡丹區的行政區域。菏澤市轄原菏澤地區的鄄城縣、單縣、鄆城縣、曹縣、定陶縣、巨野縣、東明縣、成武縣和新設立的牡丹區（1區8縣）。2001年1月8日地級菏澤市正式掛牌成立。

2000年第五次全國人口普查，菏澤市總人口8097973人。其中：牡丹區1280031人，曹縣1335422人，單縣1050701人，成武縣596339人，巨野縣839438人，鄆城縣1025800人，鄄城縣715684人，定陶縣563352人，東明縣691206人。

2002年末，全市共有8個街道、108個鎮、42個鄉。2010年末，全市常住人口828.78萬人，其中城鎮人口約180.23萬人。