“阿爾山”系蒙古語(yǔ)譯音，意為“圣水”或“神泉”。建市前為科爾沁右翼前旗的一個(gè)鎮(zhèn)。1952年建阿爾山努圖克，1953年改鎮(zhèn)，1958年成立公社，1981年復(fù)改鎮(zhèn)。1992年12月5日，自治區(qū)人民政府批準(zhǔn)建立阿爾山經(jīng)濟(jì)開發(fā)區(qū)，實(shí)行計(jì)劃單列，隸屬興安盟行署。至此，阿爾山鎮(zhèn)從科右前旗行政區(qū)劃出。
1996年6月10日，民政部批復(fù)（民行批[1996]41號(hào)）：經(jīng)國(guó)務(wù)院批準(zhǔn)，同意設(shè)立阿爾山市（縣級(jí)），以興安盟科爾沁右翼前旗阿爾山鎮(zhèn)的行政區(qū)域?yàn)榘柹绞械男姓䥇^(qū)域。
1996年?，阿爾山市面積9600平方千米，人口4.8萬(wàn)人，其中蒙古族5907人，另有流動(dòng)人口3.4萬(wàn)人。轄3個(gè)街道、3個(gè)鎮(zhèn)：溫泉街道、新城街道、林海街道、伊爾施鎮(zhèn)、白狼鎮(zhèn)、五岔溝鎮(zhèn)。市政府駐溫泉街道轄區(qū)內(nèi)。
2000年第五次人口普查，阿爾山市總?cè)丝?5189人，其中：林海街道18888人，新城街道4107人，溫泉街道6541人，伊爾施鎮(zhèn)2399人，白狼鎮(zhèn)2164人，五岔溝鎮(zhèn)11090人。
2001年?，轄3個(gè)街道、5個(gè)鎮(zhèn)：林海街道、新城街道、溫泉街道、伊爾施鎮(zhèn)、天池鎮(zhèn)、白狼鎮(zhèn)、五岔溝鎮(zhèn)、明水鎮(zhèn)。
2006年，撤銷伊爾施鎮(zhèn)，并入天池鎮(zhèn)；撤銷明水河鎮(zhèn)，并入五岔溝鎮(zhèn)。
2006年末，全市總面積7408.7平方千米�？�?cè)丝?9679人，其中少數(shù)民族12159人，占總?cè)丝诘?4.5%；非農(nóng)業(yè)人口49132人，占總?cè)丝诘?8.9%。轄3個(gè)鎮(zhèn)和3個(gè)街道。
2009年，阿爾山市總面積7408.7平方千米。總?cè)丝?.7萬(wàn)人。轄天池、白狼、五岔溝3個(gè)鎮(zhèn)和溫泉、新城、林海3個(gè)街道。
2011年，恢復(fù)明水河鎮(zhèn)。調(diào)整后，全市轄3個(gè)街道、4個(gè)鎮(zhèn)：林海街道、新城街道、溫泉街道、天池鎮(zhèn)、白狼鎮(zhèn)、五岔溝鎮(zhèn)、明水河鎮(zhèn)。