尖山區，以山得名。因城區西南3千米處有一座錐型山峰，俗稱“尖山子”，故名。原屬富錦縣第五區管轄。1945年“九三”抗日戰爭勝利后，1946年6月，劃歸集賢縣管轄。1949年9月，雙鴨山礦務局自嶺東移駐尖山，此后人口逐漸增加，1953年9月設置富安村。

1954年7月，設置縣級雙鴨山礦區，區政府駐尖山地區，始設尖山區公所。1956年7月，改為市的建制后，設立雙鴨山市尖山街道辦事處。1959年4月，改稱尖山經濟區，1961年2月改稱尖山分社，1968年3月稱尖山區。1980年4月15日，省政府批準，正式設立尖山區。

1992年末，尖山區位于雙鴨山市境西北部，東與四方臺區接壤，南與嶺東區毗鄰，西北與集賢縣分界，為市政府和雙鴨山礦務局駐地。總面積約117.7平方千米。總人口17萬人，其中非農業人口14.5萬人；少數民族人口約占3%。轄二馬路、富安、長安、八馬路、中心站、窯地、鐵西等7個街道和安邦鄉。區政府駐地新興大街。（以上摘自《黑龍江省志·地名錄》，有改動）

1996年，尖山區面積117平方千米，人口18萬人。轄6個街道、1個鄉：八馬路街道、二馬路街道、中心站街道、富安街道、窯地街道、鐵西街道、安邦鄉。區政府駐八馬路街道。

2000年第五次人口普查，尖山區（轄7個街道、1個鄉）總人口190485人，其中：二馬路街道22206人，八馬路街道52580人，中心站街道25132人，富安街道22742人，窯地街道6481人，長安街道10911人，鐵西街道28299人，安幫鄉22134人。