二百多年前，人們就利用溝中水流開設了水磨，因而得名水磨溝。原屬迪化縣，1944年劃歸迪化市管轄。1949年屬第五區，1956年屬工礦區。1961年，水磨溝工礦區和八道灣鎮合并成立水磨溝區【一說，1956年為第四區，1960年與八道灣鎮合并為水磨溝工礦區，1960年成立景泉公社，1968年更名水磨溝區】。

1996年，水磨溝區轄6個街道：水磨溝街道、南湖街道、六道灣街道、新民路街道、葦湖梁街道、八道灣街道。

2000年第五次人口普查，水磨溝區常住總人口180654人，其中：水磨溝街道35629人、六道灣街道38612人、葦湖梁街道19491人、八道灣街道5226人、新民路街道58284人、南湖街道23412人。

2003年末，水磨溝區總面積91.56平方千米，總人口163945人。轄7個街道、1個鄉：新民路街道、水磨溝街道、六道灣街道、葦湖梁街道、八道灣街道、南湖南路街道、南湖北路街道、七道灣鄉。共有59個居委會、8個行政村。區政府駐溫泉路68號。

2004年末，水磨溝區轄7個街道、1個鄉：水磨溝街道、六道灣街道、八道灣街道、葦湖梁街道、新民路街道、南湖南路街道、南湖北路街道、七道灣鄉。共有64個居委會、3個行政村。

2007年1月12日，正式撤銷七道灣鄉，設立七道灣街道。2007年10月，烏魯木齊市政府決定將原東山區蘆草溝鄉的葛家溝村、石仁子溝村和澇壩溝村整建制劃歸水磨溝區管轄；水磨溝區面積增加了186平方千米；同時將3個村與原有“水磨溝風景名勝區管理委員會辦公室”進行整合，成立“水磨溝旅游風景區管理委員會”，轄區面積含移交的3個村、水磨溝村、風景區，共246平方千米。

2010年第六次人口普查，水磨溝區常住總人口390943人，其中：水磨溝街道48544人，六道灣街道77454人，葦湖梁街道43730人，八道灣街道3326人，新民路街道66592人，南湖南路街道77316人，南湖北路街道40899人，七道灣街道30358人，水磨溝區農村事務管理辦公室2724人。

2013年，烏魯木齊市政府（烏政辦[2013]568號）批準同意水磨溝區設立榆樹溝街道、石人子溝街道。調整后，全區轄10個街道。