因金水河流經(jīng)境內(nèi)而得名。解放前，轄區(qū)屬鄭縣管轄。1948年鄭州解放，鄭縣分為鄭州市和鄭縣，轄區(qū)城區(qū)部分屬市、農(nóng)村部分屬縣。1953年撤銷鄭縣，成立郊區(qū)，轄區(qū)城區(qū)部分歸隴海區(qū)、二七區(qū)和建設(shè)區(qū)，農(nóng)村部分屬郊區(qū)。1960年4月設(shè)立金水人民公社；1961年8月改為金水區(qū)。1987年區(qū)劃調(diào)整后，形成區(qū)帶鄉(xiāng)體制。是中共河南省委、河南省人民政府、黃河水利委員會及省直各廳局所在地。
1960年4月成立金水人民公社，由七一、紫荊山、人民路、杜嶺、黃河路、文化區(qū)、鄭紡機、崗杜、南陽新村9個街道分社和海灘寺農(nóng)業(yè)分社組成。1961年8月，金水人民公社改成金水區(qū)，9個街道分社改成杜嶺、人民路、花園路、經(jīng)八路、文化路、南陽路、南陽新村7個街道辦事處，農(nóng)業(yè)分社改建成金水農(nóng)業(yè)公社。
1980年成立劉寨街道辦事處，1984年成立大石橋街道辦事處。1987年全市進行區(qū)劃調(diào)整，撤銷金海區(qū)、新密區(qū)和郊區(qū)，成立邙山區(qū)。金水區(qū)劉寨街道辦事處劃歸邙山區(qū)，原郊區(qū)的柳林鄉(xiāng)、祭城鄉(xiāng)、姚橋鄉(xiāng)以及原金海區(qū)的廟李鄉(xiāng)劃歸金水區(qū)。
1996年?，金水區(qū)面積242.2平方千米，人口52.9萬人。轄8個街道、2個鎮(zhèn)、3個鄉(xiāng)：經(jīng)八路街道、花園路街道、南陽路街道、南陽新村街道、文化路街道、人民路街道、杜嶺街道、大石橋街道、柳林鎮(zhèn)、祭城鎮(zhèn)、姚橋鄉(xiāng)、廟李鄉(xiāng)、海灘寺鄉(xiāng)。區(qū)政府駐文化路。
2000年5月，撤銷海灘寺鄉(xiāng)，成立豐產(chǎn)路街道。區(qū)劃調(diào)整后，全區(qū)轄9個街道、3個鎮(zhèn)、1個鄉(xiāng)。同年9月，區(qū)四大班子機關(guān)由文化路106號遷至東風路16號新址辦公。
2000年全國第五次人口普查，金水區(qū)總?cè)丝?78308人，其中：經(jīng)八路街道84585人、花園路街道53630人、人民路街道44581人、杜嶺街道21617人、石橋街道33380人、南陽路街道61039人、南陽新村街道76694人、文化路街道156466人、豐產(chǎn)路街道104263人、祭城鎮(zhèn)98845人、椰林鎮(zhèn)47844人、廟李鎮(zhèn)69519人、姚橋鄉(xiāng)25845人。
2002年8月，設(shè)立未來路、北林路、東風路等3個街道辦事處。2002年底，全區(qū)轄杜嶺、人民路、花園路、文化路、南陽路、南陽新村、大石橋、豐產(chǎn)路、未來路、北林路、東風路、經(jīng)八路等12個街道，廟李鎮(zhèn)、柳林鎮(zhèn)、祭城鎮(zhèn)、姚橋鄉(xiāng)4個鄉(xiāng)鎮(zhèn)，136個社區(qū)、70個行政村，175個自然村。
2005年11月，撤銷姚橋鄉(xiāng)，設(shè)立龍子湖街道辦事處。2005年末，金水區(qū)轄13個街道、3個鎮(zhèn)：花園路街道、經(jīng)八路街道、南陽路街道、文化路街道、人民路街道、杜嶺街道、南陽新村街道、大石橋街道、豐產(chǎn)路街道、東風路街道、北林路街道、未來路街道、龍子湖街道（新增），祭城鎮(zhèn)、柳林鎮(zhèn)、廟李鎮(zhèn)。
2006年6月，正式撤銷祭城鎮(zhèn)，設(shè)立祭城路、鳳凰臺2個街道。2010年11月，將祭城路、龍子湖2個街道管轄范圍內(nèi)連霍高速公路以北區(qū)域的北錄莊村、任莊村、馬渡村、來童寨村、黃莊村、黃崗廟村、小金莊村以及連霍高速以南、京港澳高速以東區(qū)域的劉江村、馬樓村、柳園口村、賈陳村、徐莊村共12個行政村整建制劃出，設(shè)立興達路街道。新成立的興達路街道面積42.43平方千米，人口10.7萬人。
區(qū)劃調(diào)整后，金水區(qū)轄16個街道、2個鎮(zhèn)：經(jīng)八路街道、花園路街道、人民路街道、杜嶺街街道、大石橋街道、南陽路街道、南陽新村街道、文化路街道、豐產(chǎn)路街道、東風路街道、北林路街道、未來路街道、龍子湖街道、祭城路街道、鳳凰臺街道、興達路街道、柳林鎮(zhèn)、廟李鎮(zhèn)。
2011年，撤銷廟李鎮(zhèn)，設(shè)立豐慶路街道；撤銷柳林鎮(zhèn)，設(shè)立國基路街道、楊金路街道。
2003年，金水區(qū)人民政府《關(guān)于祭城鎮(zhèn)等鄉(xiāng)（鎮(zhèn)）、街道辦事處新建社區(qū)和部分社區(qū)更名的通知》（金政文[2003]107號）：決定新建8個社區(qū)，更名2個社區(qū)。
一、新建的社區(qū)居委會
祭城鎮(zhèn)新建3個社區(qū)居委會。分別是：建業(yè)城市花園社區(qū)、南航花園新村社區(qū)、百合花苑社區(qū)。
未來路辦事處新建4個社區(qū)居委會。分別是：公安廳社區(qū)、民航路社區(qū)、吉祥花園社區(qū)、錦江花園社區(qū)。
大石橋街道辦事處新建1個社區(qū)居委會：沙口社區(qū)。
二、更名的社區(qū)居委會
廟李鎮(zhèn)原中建七局四公司社區(qū)更名為瑞豐社區(qū)。花園路街道辦事處原省電信社區(qū)更名為省通信社區(qū)。
經(jīng)批準新建8個社區(qū)后，金水區(qū)有144個社區(qū)：1、花園路街道：社區(qū)11個；2、經(jīng)八路街道：社區(qū)18個；3、文化路街道：社區(qū)12個；4、豐產(chǎn)路街道：社區(qū)19個；5、南陽路街道：社區(qū)11個；6、南陽新村街道：社區(qū)12個；7、人民路街道：社區(qū)9個；8、大石橋街道：社區(qū)9個；9、杜嶺街道：社區(qū)8個；10、東風路街道：社區(qū)10個；11、北林路街道：社區(qū)10個；12、未來路街道：社區(qū)9個；13、祭城鎮(zhèn)：社區(qū)3個；14、柳林鎮(zhèn)：社區(qū)1個；15、廟李鎮(zhèn)：社區(qū)2個。
2006年4月24日，鄭州市人民政府辦公廳《關(guān)于撤銷金水區(qū)祭城鎮(zhèn)設(shè)立祭城路街道辦事處鳳凰臺街道辦事處的通知》（鄭政辦文[2006]34號），經(jīng)省人民政府批準，鄭州市撤銷金水區(qū)祭城鎮(zhèn)，同時設(shè)立祭城路、鳳凰臺街道辦事處。根據(jù)省民政廳《關(guān)于撤銷鄭州市金水區(qū)祭城鎮(zhèn)實行城市管理體制的批復(fù)》（豫民行批[2006]8號）精神：撤銷祭城鎮(zhèn)，將其所轄區(qū)域劃分為兩個部分，設(shè)立祭城路、鳳凰臺2個街道辦事處，實行城市管理體制。將祭城鎮(zhèn)的鳳凰臺村、張莊村、王莊村和建業(yè)社區(qū)、英協(xié)社區(qū)、茂祥社區(qū)整建制劃出，設(shè)立鳳凰臺街道辦事處。該轄區(qū)東到東環(huán)路，西、南至管城回族區(qū)邊界，北至熊兒河，面積4.5平方千米，常住人口3.2萬人，流動人口4.7萬人。其余19個村民委員會，包括崔莊村、白莊村、祭城村、廟李村、邢屯村、陳崗村、金莊村、賈崗村、弓莊村、魏莊村、新村、花莊村、十里鋪村、八里廟村、花溝王村、花胡莊村、南錄莊村、北錄莊村、小郭村整建制劃出，設(shè)立祭城路街道辦事處。管轄區(qū)域東至祭城鎮(zhèn)與龍子湖街道辦事處邊界，西至107國道、祭城鎮(zhèn)與柳林鎮(zhèn)邊界，南與管城回族區(qū)接壤，北至祭城鎮(zhèn)與柳林鎮(zhèn)邊界，總?cè)丝?2萬人，面積63平方千米。6月正式實施。
2011年4月25日，《鄭州市政府關(guān)于金水區(qū)設(shè)立豐慶路等3個街道辦事處的批復(fù)》：撤銷金水區(qū)廟李鎮(zhèn)、柳林鎮(zhèn)，實行城市管理體制，同時設(shè)立豐慶路、國基路和楊金路3個街道辦事處。原廟李鎮(zhèn)常住人口3.8萬人、柳林鎮(zhèn)常住人口4.9萬人。設(shè)立的豐慶路街道辦事處，以廟李鎮(zhèn)行政區(qū)域為豐慶路街道辦事處管轄區(qū)域。設(shè)立的國基路街道辦事處，以柳林鎮(zhèn)中州大道以西區(qū)域為國基路街道辦事處管轄區(qū)域，轄柳林村、沙門村、劉莊村、路寨村、高皇寨村、杓袁村6個行政村及二十一世紀、新田、風雅頌3個社區(qū)居委會。設(shè)立的楊金路街道辦事處，以柳林鎮(zhèn)中州大道以東區(qū)域為楊金路街道辦事處管轄區(qū)域，轄馬頭崗村、唐莊、安莊、王馬莊村、徐莊村、馬林村、新莊村、周莊村、河村、小賀莊村、楊槐村、大賀莊村12個行政村。