春秋戰(zhàn)國時期，鄭、韓先后在新鄭建都，長達500多年。秦漢時期，鄭州地區(qū)始置滎陽、鞏、京、新鄭等縣。之后，歷代先后在鄭州地區(qū)設置滎陽郡、北豫州、滎州等。隋開皇三年（公元583年）將滎州改為鄭州。隋開皇十六年（公元596年）置管州治所。管城作為鄭州、管州州治，成為鄭州地區(qū)政治、經(jīng)濟中心。北宋建都汴京后，鄭州屬京畿路，崇寧四年（公元1105年），建為西輔，成為宋代四輔郡之一。明初，鄭州劃歸開封府。清代，鄭州為兩次升為直隸州。

1929年至于1931年鄭州曾一度廢縣設市。1949年設鄭州市，由河南省直轄。1954年河南省人民政府由開封市遷駐鄭州市。1958年原屬開封專區(qū)的新鄭、密縣、登封、鞏縣（駐東站鎮(zhèn)）、滎陽等5縣交由鄭州市領導。1961年將新鄭、密縣、登封、鞏縣、滎陽5縣劃歸開封專區(qū)。1971年開封地區(qū)所屬滎陽縣交由鄭州市領導。

2000年第五次全國人口普查，鄭州市總?cè)丝?656759人；中原區(qū)578400人、二七區(qū)557300人、管城回族區(qū)345513人、金水區(qū)878308人、上街區(qū)77014人、邙山區(qū)149852人、中牟縣673058人、鞏義市777202人、滎陽市619840人、新密市779014人、新鄭市609173人、登封市609085人。

2003年12月25日，民政部批準（民函[2003]270號）：將鄭州市的邙山區(qū)更名為惠濟區(qū)。2003年末，全市總面積7446.2平方千米，其中市區(qū)面積1010.3平方千米，建成區(qū)面積212.4平方千米；全市總?cè)丝?97.7萬人，中心城區(qū)人口320萬（數(shù)據(jù)根據(jù)“鄭州市政府網(wǎng)站”）。

2004年7月，將滎陽市峽窩鎮(zhèn)整建制劃歸上街區(qū)管轄。按照《河南省民政廳關于調(diào)整鄭州市上街區(qū)和滎陽市行政區(qū)劃的批復》（豫民行批[2004]4號），滎陽市峽窩鎮(zhèn)整建制劃歸上街區(qū)管轄。行政區(qū)劃調(diào)整后，上街區(qū)人口由調(diào)整前的8.6萬人增加到12萬人。

2004年末，全市總面積7446.2平方千米，其中市區(qū)面積1010.3平方千米，建成區(qū)面積243.3平方千米；全市總?cè)丝?08.2萬人，其中城鎮(zhèn)人口411.1萬人，鄉(xiāng)村人口297.1萬人；非農(nóng)業(yè)人口257.6萬。

2005年末，鄭州市轄6個市轄區(qū)、1個縣，代管5個縣級市；全市共有70個街道、71個鎮(zhèn)、24個鄉(xiāng)。