麻山區(qū)，以境內(nèi)麻山得名。清末，屬穆棱縣管轄。中華民國時期，逐漸形成麻山、吉祥兩個村莊，隸屬穆棱縣第四區(qū)管轄。東北淪陷后，初設(shè)麻山甲、吉祥甲，隸屬奎山保。1938年1月，改隸奎山村。1939年6月，隨奎山等村劃歸林口縣管轄。由于林密線鐵路通車及煤炭的開發(fā)，人口逐漸增加。1945年“九三”抗日戰(zhàn)爭勝利后，1947年4月，林口縣設(shè)置麻山區(qū)。1956年撤區(qū)劃鄉(xiāng)，設(shè)置麻山鄉(xiāng)。1957年1月，劃歸雞西市管轄，設(shè)置麻山區(qū)。

1992年末，麻山區(qū)位于雞西市境西部，東北與滴道區(qū)相連，東南與梨樹區(qū)分界，南與穆棱縣接壤，西與林口縣毗鄰。全境總面積410.8平方千米。總?cè)丝?.6萬人，其中非農(nóng)業(yè)人口1.9萬人；滿、朝鮮等少數(shù)民族人口約占6%。轄麻山街道和麻山鄉(xiāng)。區(qū)政府駐地中心路，距市中心雞冠區(qū)40千米。（以上摘自《黑龍江省志·地名錄》，有改動）

1996年，麻山區(qū)轄1個街道、1個鄉(xiāng)：麻山街道、麻山鄉(xiāng)。2000年第五次人口普查，麻山區(qū)總?cè)丝?4500人，其中：麻山街道17204人、麻山鄉(xiāng)17296人。

2001年，麻山區(qū)開展了并村并委工作，將原來的22個行政村合并為16個，將17個居民委合并為7個社區(qū)。

2005年12月26日，撤銷麻山鄉(xiāng)，其行政區(qū)域歸麻山區(qū)直轄（黑民區(qū)[2005]154號）。