解放前，中原區城區范圍南部歸屬鄭縣第二區（齊禮鄉），北部歸屬鄭縣第四區（五權鄉）。1948年10月22日，鄭州市解放。中共鄭州市工委廢除了舊的鎮、保、甲組織形式，于10月27日前后成立鄭州市第一、二、三區。一區為現管城回族區，二區為現二七區，三區就是中原區的前身。市委派設中共三區工作委員會（簡稱工委），區民主政府，轄15個街公所。

1949年12月撤銷三區工委、民主政府，區街政權由區公安分局及其派出所代替。1951年9月，成立中共鄭州市三區委員會、區人民政府。翌年12月，組建喬家門、小趙寨、二馬路、銘功路、蜜蜂張5個街政府。1954年8月，增設崗位杜街政府。1955年2月將街政府改為街道辦事處，10月將三區人民政府改為建設區人民委員會。1955年、1956年分別增設建設路、三官廟街道辦事處。

1958年8月，城市人民公社化，建設區改稱建設區人民公社，下轄街道辦事處改名為人民公社。1960年5月，改為中原人民公社，下轄7個分社。1961年8月，城市恢復區、街建置，中原人民公社改為中原區人民委員會，時轄建設路、三官廟等6個街道辦事處，一個農業公社。1962年5月增設秦嶺路街道辦事處。1968年2月，成立中原區革命委員會。

1980年4月，成立中原區人民政府。1985年11月，增設汝河路街道辦事處。1987年3月，鄭州市進行區劃調整，撤銷郊區、金海區，將須水、光趙、石佛、大崗劉鄉劃歸中原區管轄。調整后，中原區轄8個街道辦事處、5個鄉。

1996年，中原區面積193平方千米（其中市區面積25.9平方千米），人口43.8萬人。轄8個街道、1個鎮、4個鄉：建設路街道、汝河路街道、棉紡路街道、綠東村街道、秦嶺路街道、林山寨街道、三官廟街道、桐柏路街道、須水鎮、大崗劉鄉、石佛鄉、中原鄉、溝趙鄉。區政府駐桐柏路。

2000年，中原區轄8個街道、2個鎮、3個鄉。第五次人口普查，中原區總人口578400人，其中：林山寨街道79095人、建設路街道31242人、棉紡路街道37768人、秦嶺路街道27033人、桐柏路街道68813人、三官廟街道47628人、綠東村街道55469人、汝河路街道58009人、須水鎮67460人、石佛鎮44250人、溝趙鄉41616人、大崗劉鄉18206人、中原鄉1811人。

2003年9月，將石佛鎮、溝趙鄉交由鄭州高新區管委會代管。鄭州高新區面積由18.6平方千米擴展到67.7平方千米。

2004年，中原區轄8個街道、1個鎮、2個鄉。2005年中原區鄉鎮區劃調整，撤銷大崗劉鄉，設立航海西路街道。調整后，中原區轄10個街道、2個鎮、1個鄉：汝河路街道、棉紡路街道、綠東村街道、秦嶺路街道、建設路街道、林山寨、三官廟街道街道、桐柏路街道、中原西路街道、航海西路街道（新增）；須水鎮、石佛鎮；溝趙鄉。

2009年11月27日，省民政廳（豫民行批[2009]43號）批復，經省政府批準，撤銷鄭州市中原區須水鎮，在原須水鎮行政區域實行城市管理體制。