“阿勒泰”來源于阿爾泰山。阿爾泰山，史書稱之為“金微山”、“金山”。阿爾泰在突厥語和蒙古語里都是“金子”的意思，因此山蘊藏出產豐富的黃金。

公元前三世紀前塞種人馳騁于此地。其后裔為匈奴人、鮮啤人、突厥人等先后統治過這里。秦末漢初，匈奴努力強大，各游牧部族受其轄治。隋唐時期以阿爾泰山為界，本地區成為東西突厥的交界處。646年唐朝滅薛延陀國設燕然都護府治理該地。此后設立的安西大都護府和北庭都護府的轄區都包括現阿勒泰地區的范圍。宋遼金時期，阿爾泰山黠戛斯等部都隸于中原王朝。1124年西遼統有本地區南部，西遼還在阿爾泰山一帶設置西部招討司，隸屬上京道，并且大力在烏倫古河流域屯墾。蒙元時期本地區先是窩闊臺汗國，后為陽翟王部，科布多一帶稱海宣慰司，其北面是八鄰萬戶和益蘭州等部斷事官轄地。設省以后本地區屬嶺北行省。其后又隸屬于察合臺汗國和別失八里行省。

清朝于1730年前后設立科布多參贊大臣，由烏里雅蘇臺定邊左副將軍節制。1904年科布多、阿爾泰分治，設阿爾泰大臣，駐承化寺（今阿勒泰市），轄阿爾泰烏梁海、新土爾扈特、新和碩特三部地。阿爾泰自清朝以來作為特殊區直屬中央，辛亥革命后，阿爾泰改設辦事長官，直隸中央。1919年6月改設阿山道，阿爾泰正式歸于新疆。1933年阿山道改稱阿山行政區，設行政長。1945年“三區革命”時，一度成立隸屬三區革命臨時政府的阿山專屬，設專員。1946年改為阿山區行政公署，設督察專員。

1949年12月改稱阿山區行政督察專員公署（阿山專區），專署駐承化縣。轄承化、富蘊、青河、福海、布爾津、哈巴河、吉木乃等7縣。1953年原承化縣改稱阿泰縣。

1954年，阿山專區改稱阿勒泰專區，隸屬伊犁哈薩克自治州。轄阿勒泰（阿泰縣改稱阿勒泰縣）、青河、富蘊、福海、吉木乃、布爾津、哈巴河等7縣，專署駐阿勒泰縣。

1979年，阿勒泰專區改稱阿勒泰地區，地區駐阿勒泰縣，轄阿勒泰、青河、富蘊、福海、吉木乃、布爾津、哈巴河等7縣。1984年11月17日，國務院批準撤銷阿勒泰縣，設立阿勒泰市。

2000年第五次全國人口普查，阿勒泰地區常住總人口561667人。其中：阿勒泰市178510人、布爾津縣61633人、富蘊縣80986人、福海縣77830人、哈巴河縣73403人、青河縣53843人、吉木乃縣35462人。

2003年，全區總面積117989.21平方千米，總人口612628人，有哈薩克、漢、回、維吾爾、蒙古等36個民族。轄1市6縣，即：阿勒泰市、布爾津縣、哈巴河縣、吉木乃縣、福海縣、富蘊縣、青河縣，還有新疆生產建設兵團農十師的十個團場和自治區駐阿有關單位。地區行政公署駐阿勒泰市。

2010年第六次人口普查，阿勒泰地區常住總人口603283人，其中：阿勒泰市190064人，布爾津縣66758人，富蘊縣87886人，福海縣81845人，哈巴河縣82507人，青河縣58858人，吉木乃縣35365人。