阿克蘇系維吾爾語，意為“清澈的水”。漢代，這里為姑墨國地。隋唐時期，為跋祿迦，亦稱亟墨，唐高宗顯慶三年（658年）置姑墨州，隸屬安西都護府。宋時為西遼所轄。元明為蒙古宗王察合臺封地，稱為阿速。清乾隆二十二年（1757年）清政府派軍平定準噶爾叛亂，將地名定為阿克蘇。乾隆二十三年（1758年）在此設阿克蘇辦事大臣。光緒三年（1877年）在阿克蘇設善后總局。

光緒八年以東四城（焉耆、庫車、阿克蘇、烏什）置阿克蘇分巡兵備道，以阿克蘇置溫宿直隸州。光緒九年（1883年）完成建州工作并修建阿克蘇新城，亦稱漢稱，新城為阿克蘇道和溫宿直隸州治所。光緒二十八年（1902年）升溫宿直隸州為府，市境為溫宿府直轄。本府即今阿克蘇市和阿瓦提縣的范圍。民國二年（1913年）4月，溫宿府本府改置阿克蘇縣，屬阿克蘇道。

1949年后，隸屬阿克蘇專區、阿克蘇地區。1956年將原縣轄丙等市阿克蘇市改設為阿克蘇鎮。1958年5月撤銷溫宿縣，其行政區域并入阿克蘇縣。1962年恢復溫宿縣建制，將1958年合并于阿克蘇縣的原溫宿縣的行政區域從阿克蘇縣劃出，歸溫宿縣管轄。1983年8月19日，經國務院批準，撤銷阿克蘇縣，設立阿克蘇市（縣級）。1984年5月7日，阿克蘇市人民政府掛牌成立。

1984年7月18日，撤銷阿克蘇鎮，將原鎮屬的4個街道辦事處升格為鄉建置。1999年城區增設南城街道。

2000年第五次人口普查，阿克蘇市常住總人口561822人，其中：蘭干街道47179人、英巴扎街道31687人、紅橋街道21849人、新城街道57031人、南城街道27086人、喀拉塔勒鎮34277人、阿依庫勒鎮33822人、依干其鄉29608人、拜什吐格曼鄉21006人、托普魯克鄉13093人、庫木巴什鄉18975人、托喀依鄉3337人、林園8492人、兵團阿拉爾局17884人、良種繁育場4271人、紅旗坡農場17503人、兵團一團23049人、兵團二團11503人、兵團七團13025人、兵團八團11160人、兵團九團20958人、兵團十團12417人、兵團十一團11479人、兵團十二團19722人、兵團十三團14341人、兵團十四團13511人、兵團十五團9885人、兵團十六團13672人。

2003年，阿克蘇市總面積14449.77平方千米，總人口572694人，其中少數民族約占總人口的45％，轄5街道、2鎮、4鄉：蘭干街道、英巴扎街道、紅橋街道、新城街道、南城街道、喀拉塔勒鎮、阿依庫勒鎮；依干其鄉、拜什吐格曼鄉、托普魯克鄉、庫木巴什鄉。市政府駐市區西大街。

2010年第六次人口普查，阿克蘇市常住總人口535657人，其中：欄桿街道71746人，英巴扎街道43346人，紅橋街道31228人，新城街道87368人，南城街道37766人，喀勒塔勒鎮36308人，阿依庫勒鎮39893人，依干其鄉40737人，拜什吐格曼鄉23798人，托普魯克鄉14587人，庫木巴希鄉21075人，良種場5375人，紅旗坡農場21228人，實驗林場20161人，兵團一團21970人，兵團二團9542人，西工業園區管理委員會7480人，兵團農一師沙井子水利管理處2049人。

2012年2月6日，柯柯牙街道辦事處正式掛牌成立。2013年1月23日，自治區政府（新政函[2013]17號）批復同意將阿克蘇市802.733平方千米區域劃歸阿拉爾市管轄。2014年11月14日，自治區政府同意將現英巴扎街道管轄的英巴格社區、林園社區以及阿依庫勒鎮部分區域劃入設立多浪街道，街道辦事處駐現英巴格社區居委會辦公樓。

調整后，全市轄7個街道、2個鎮、4個鄉：蘭干街道、英巴扎街道、紅橋街道、新城街道、南城街道、柯柯牙街道、多浪街道、喀勒塔勒鎮、阿依庫勒鎮、依干其鄉、拜什吐格曼鄉、托普魯克鄉、庫木巴希鄉。