因阿爾泰山而得名，曾稱金微山和金山。阿爾泰系蒙古語和突厥語，意為“金子”，因此山產(chǎn)金，故名。

從漢代起，先后為塞種、匈奴、鮮卑、柔然、突厥等的游牧地。唐代歸安西都護(hù)府管轄，后改隸于北庭都護(hù)府。元代先為別失八里行尚書省，后為嶺北行省轄地。明及清初為蒙古瓦剌部（后稱衛(wèi)拉特）的游牧地。清代又有哈薩克克烈、乃蠻、烏孫等部落遷居此地。清乾隆二十八年（1763年）為科布多參贊大臣轄地。同治十三年（1874年），清政府在克蘭河畔修建喇嘛廟“承化寺”，翌年即光緒元年，廟宇竣工，始有固定居民。地名亦稱作承化寺，為阿勒泰地區(qū)之雛形。光緒三十二年（1906年），科布多與阿爾泰分治，另設(shè)阿爾泰辦事大臣，駐承化寺。

民國元年（1912年）為阿爾泰辦事長官治所，成為阿爾泰地區(qū)政治的中心。民國八年（1919年）撤阿爾泰辦事長官，置阿山道；由中央政府直屬改由新疆省管轄。民國十年（1921年）置承化縣，先后隸屬阿山道、阿山行政區(qū)、阿山專區(qū)。1953年改為阿泰縣。1954年，改阿山專區(qū)為阿勒泰專區(qū)；改阿泰縣為阿勒泰縣，屬阿勒泰專區(qū)。1970年后隸屬阿勒泰地區(qū)。1984年11月17日，國務(wù)院批準(zhǔn)撤銷阿勒泰縣，設(shè)立阿勒泰市。

元代為蒙古諸王封地。明代屬杜爾伯特部的牧地。清代歸科布多參贊大臣管轄，清光緒三十二年（1906年）設(shè)阿爾泰辦事大臣。民國二年（1913年）設(shè)承化縣佐，屬阿山特別行政區(qū)管轄。民國八年（1919年）劃歸新疆省阿山道管轄。民國十年（1921年）設(shè)承化縣。1953年改稱阿泰縣。1954年改名為阿勒泰縣。為地區(qū)行政公署所在地。

1997年，阿勒泰市轄4個(gè)街道、1個(gè)鎮(zhèn)、9個(gè)鄉(xiāng)：金山路街道、郊區(qū)街道、解放路街道、團(tuán)結(jié)路街道、北屯鎮(zhèn)、紅墩鄉(xiāng)、阿葦灘鄉(xiāng)、切木爾切克鄉(xiāng)、阿拉哈克鄉(xiāng)、喀拉希力克鄉(xiāng)、薩爾胡松鄉(xiāng)、巴里巴蓋鄉(xiāng)、切爾克齊鄉(xiāng)、汗德尕特蒙古族鄉(xiāng)。

2000年第五次人口普查，阿勒泰市常住總?cè)丝?78510人，其中：金山路街道26172人、解放路街道18840人、團(tuán)結(jié)路街道12606人、北屯鎮(zhèn)28553人、阿葦灘鎮(zhèn)10319人、紅墩鄉(xiāng)13059人、切木爾切克鄉(xiāng)12937人、阿拉哈克鄉(xiāng) 9127人、汗德尕特蒙古族鄉(xiāng)3719人、拉斯特鄉(xiāng)4814人、喀拉希力克鄉(xiāng)4871人、薩爾胡松鄉(xiāng)4975人、巴里巴蓋鄉(xiāng)4197人、切爾克齊鄉(xiāng)4501人、喀拉尕什牧場3529人、阿克吐木斯克牧場4359人、兵團(tuán)一八一團(tuán)11632人、兵團(tuán)塔爾浪云母一礦300人。

2003年，阿勒泰市總面積10852.43平方千米，總?cè)丝?22805人，轄3街道、3個(gè)鎮(zhèn)、8個(gè)鄉(xiāng)（其中1個(gè)民族鄉(xiāng)）：金山路街道、解放路街道、團(tuán)結(jié)路街道、北屯鎮(zhèn)、紅墩鎮(zhèn)、阿葦灘鎮(zhèn)、切木爾切克鄉(xiāng)、阿拉哈克鄉(xiāng)、喀拉希力克鄉(xiāng)、薩爾胡松鄉(xiāng)、巴里巴蓋鄉(xiāng)、切爾克齊鄉(xiāng)、拉斯特鄉(xiāng)、汗德尕特蒙古族鄉(xiāng)。市政府駐市區(qū)金山路。

2010年第六次人口普查，阿勒泰市常住總?cè)丝?90064人，其中：金山路街道22449人，解放路街道19162人，團(tuán)結(jié)路街道19504人，北屯鎮(zhèn)38496人，阿葦灘鎮(zhèn)9622人，紅墩鎮(zhèn)11589人，切木爾切克鄉(xiāng)12949人，阿拉哈克鄉(xiāng)9917人，汗德尕特蒙古族鄉(xiāng)3578人，拉斯特鄉(xiāng)4269人，喀拉希力克鄉(xiāng)5035人，薩爾胡松鄉(xiāng)5189人，巴里巴蓋鄉(xiāng)4208人，切爾克齊鄉(xiāng)5064人，喀拉尕什牧場3106人，阿克吐木斯克牧場5065人，兵團(tuán)一八一團(tuán)10862人。

2012年，撤銷切木爾切克鄉(xiāng)，設(shè)立切木爾切克鎮(zhèn)（新政函[2012]76號）。2014年10月20日，自治區(qū)政府（新政函[2014]180號）同意撤銷阿拉哈克鄉(xiāng)，設(shè)立阿拉哈克鎮(zhèn)。調(diào)整后，全市轄3個(gè)街道、5個(gè)鎮(zhèn)、6個(gè)鄉(xiāng)（其中1個(gè)民族鄉(xiāng)）：金山路街道、解放路街道、團(tuán)結(jié)路街道、北屯鎮(zhèn)、阿葦灘鎮(zhèn)、紅墩鎮(zhèn)、切木爾切克鎮(zhèn)、阿拉哈克鎮(zhèn)、汗德尕特蒙古族鄉(xiāng)、拉斯特鄉(xiāng)、喀拉希力克鄉(xiāng)、薩爾胡松鄉(xiāng)、巴里巴蓋鄉(xiāng)、切爾克齊鄉(xiāng)。