阜康，意為“物阜民康”，舊名“特訥格爾”。西漢時為卑陸和郁立師國地，東漢屬車師后部。北魏屬柔然，北周和隋朝屬突厥。唐屬庭州金滿縣，《西域地名》考證為唐北庭大都護府之俱六城守捉。元屬別失八里，明為瓦剌游牧地，稱敦刺城或特納格爾。清代初期被準噶爾蒙古部落稱為爾然則（無城堡之意），后改稱特納格爾（平坦寬廣之意）。

清乾隆二十五年（1760年）設阜康堡，駐巡檢，二十八年（1763年）筑阜康城，隸安西道。乾隆四十一年（1776年）設阜康縣，隸迪化直隸州。1886年隸迪化府，1943年隸迪化專區，1958年隸屬昌吉回族自治州。1992年11月3日民政部（民行批[1992]130號）批復同意撤銷阜康縣，設立阜康市（縣級），以原阜康縣的行政區域為阜康市的行政區域。

1996年，阜康市轄3個街道、3個鎮、3個鄉：博峰街道、準東街道、阜新街道、滋泥泉子鎮、九運街鎮、甘河子鎮、城關鄉、上戶溝哈薩克族鄉、三工河哈薩克族鄉。市政府駐博峰街道。設有種羊場、小泉牧場、水磨溝牧場。駐有新疆生產建設兵團農六師六運湖農場、土墩子農場、西泉農場和新疆生產建設兵團直屬222團阜北農場及自治區天池試驗林場。

1999年，撤銷城關鄉，設立城關鎮。

2000年第五次人口普查，阜康市常住總人口152965人，其中：博峰街街道14970人、阜新街街道10880人、準東街道16651人、甘河子鎮8222人、城關鎮20977人、九運街鎮16818人、滋泥泉子鎮15239人、三工河哈薩克民族鄉4207人、上戶溝哈薩克民族鄉6153人、水磨溝鄉3835人、有色公司4777人、兵團大黃山煤礦3071人、種羊場1510人、小泉牧場1470人、五宮煤礦1323人、兵團土墩子農場4699人、兵團六運湖農場6593人、兵團222團農場11570人。

2003年，阜康市總面積8844.85平方千米，總人口157266人。轄3個街道、4個鎮、3個鄉：博峰街街道、阜新街街道、準東街道、甘河子鎮、滋泥泉子鎮、城關鎮、九運街鎮、水磨溝鄉、上戶溝哈薩克族鄉、三工河哈薩克族鄉。市政府駐市區博峰街。

2010年第六次人口普查，阜康市常住總人口165006人，其中：博峰街街道34292人，阜新街街道16124人，準東街道16234人，甘河子鎮9352人，城關鎮18631人，九運街鎮14415人，滋泥泉子鎮13782人，三工河哈薩克民族鄉3926人，上戶溝哈薩克民族鄉9695人，水磨溝鄉4672人，兵團大黃山煤礦4347人，兵團農六師土墩子農場5120人，兵團六運湖農場5672人，兵團二二二團農場8744人。