雨山區因境內有風光秀美的雨山而得名。早在秦朝已有牛渚地名（今采石）的記載。牛渚屬會稽郡丹陽縣（今當涂縣丹陽鎮）。北宋元豐年間（1080），今雨山地區設有采石鎮、青郵鎮（今佳山鄉青郵），隸屬當涂縣。
　　1934年至1948年，今雨山地區屬當涂縣第二區采石鎮永寧鄉。1949年4月24日，當涂縣解放。原采石鎮永寧鄉更名為采石鎮慈湖鄉。今雨山地區當時為大小河西自然村。
　　1956年11月15日，根據安徽省人委發出《關于設置馬鞍山市的通知》，將當涂縣的馬鞍山礦區全部、采石鎮全部、雨山鄉大部、寶慶鄉（今佳山鄉）一部等劃歸馬鞍山市。同年11月26日，市委決定：馬鞍山城區成立馬鞍山、向山、采石3個街道辦事處，郊區成立黨委。
　　1958年，雨山地區為金家莊公社雨山分社。1964年，金家莊公社改為市區，雨山分社隨之改為市區雨山街道辦事處。
　　1976年6月1日，市區和采石區撤銷，市區一部分和采石區全部合并為雨山區革命委員會。雨山區轄雨山、平湖、采石3個街道辦事處，44個居委會。1980年初，改稱雨山區人民政府。
　　1984年11月29日，經市批準，將雨山街道一分為二，分設為雨山街道和安民街道。
　　1997年，面積16.5平方千米，人口11.9萬，轄4個街道：雨山街道、平湖街道、安民街道、采石磯街道。區政府駐紅旗中路。
　　2000年，雨山區轄4個街道。第五次人口普查，全區總人口132943人，其中：平湖街道29321人，雨山街道35166人，安民街道59282人，采石街道9174人。
　　2001年，將原向山區的雨山鄉、佳山鄉和向山鎮劃歸雨山區管轄。全區轄雨山、安民、平湖、采石4個街道，向山鎮、雨山鄉、佳山鄉，26個行政村、66個居委會。總面積120平方千米，人口22.7萬人。
　　2004年1月安徽省民政廳（民地字[2004]5號）批準，1月8日馬鞍山市人民政府（馬政秘[2004]2號）批準：一、撤銷雨山鄉、佳山鄉，合并設立佳山鄉。調整后，佳山鄉轄16個村委會、1個居委會，面積56.74平方千米，人口3.9萬人，鄉政府駐印山。二、保留向山鎮。
　　2004年2月2日，將當涂縣的銀塘鎮劃入馬鞍山市雨山區。調整后的雨山區面積擴大到173平方千米，轄雨山、平湖、安民、采石等4個街道，向山、銀塘2鎮以及佳山鄉，36個行政村、35個社區。至2005年，雨山區人口25.93萬余人。
　　2005年3月，全區共撤并8個村。調整后，雨山區轄4個街道、2個鎮、1個鄉，36個社區、28個村，總面積173平方千米，人口25.17萬人。