“奎屯”是蒙古語“kuytun”的譯音，意為“極冷”，始見于《元史》“奎騰”這個地名，此名源自奎屯河。相傳成吉思漢西征時，軍隊夜宿于此，正值寒冬，兵士口呼“奎屯”，因此得名。突厥語稱此地為“喀拉蘇”意為“黑水”，泉水之意。

奎屯一帶在公元前三世紀我國秦代時，是塞種人的牧地，后為月氏牧地、烏孫牧地。公元前60年，西漢政府在西域設立政權機構——西域都護府，古代新疆（西域），包括奎屯，正式列入中國版圖。兩晉、十六國和南北朝時期，奎屯先后為悅般，北魏、柔然、突厥屬地。隋代，奎屯屬西突厥鐵勒部；唐朝時隸屬于北庭都護府下的昆陵都督府。五代十國時，奎屯屬九姓烏護和契丹族遼國。元太祖成吉思汗時（1206-1227年），奎屯為蒙古族曲兒只地；元大德十年至至順元年（1306-1330年），屬察合臺后王封地。清代屬庫爾喀喇烏蘇管轄，為厄魯特蒙古的牧地。光緒十年（1884年）新疆正式建立行省，天山南北的軍臺、營塘一律改為驛站，專門從事軍政公義信息的傳遞；奎屯驛是其中之一。

民國2年（1913年），奎屯為烏蘇縣屬地，稱奎屯莊（為烏蘇縣九莊之一），其所轄區域是“東界四十里井子及雙石壘，西界奎屯河壩，南界南山，北界六十戶葦湖”。民國34年（1945年），“三區”革命軍突破國民黨軍第三道防線，攻占烏蘇、奎屯、獨山子一帶；“三區”革命臨時政府在烏蘇縣下設4個千戶長（哈語：門拜克），其中有奎屯千戶長（駐地在八十四戶轉彎湖），管轄奎屯、巴音溝、九間樓、皇宮、八十四戶等五個百戶長（哈語：玉茲拜克）。民國37年（1948年）在奎屯設立保安派出所。

1950年8月，烏蘇縣根據上級指示改千戶長、百戶長制度為區、鄉制，奎屯成為烏蘇縣第二區第一鄉，下轄黃溝、塔什奎屯、喀拉蘇、店奎屯、開干其等5個自然村。1954年3月，烏蘇縣再次調整行政區劃；奎屯成為第一區第一鄉。1957年初，奎屯鄉、八十四戶鄉、九間樓鄉合并為幸福鄉。1957年3月，新疆軍區生產建設兵團農七師師部由炮臺遷至奎屯。

1958年7月，奎屯從烏蘇縣版圖析出，劃歸克拉瑪依市管轄。1975年3月25日，中共中央、國務院、中央軍委決定撤銷新疆軍區生產建設兵團，農七師隨之撤銷，其農牧團場和工礦企業分別由所在地方管轄。

1975年8月29日，國務院批準奎屯成立縣級市，直屬伊犁哈薩克自治州管轄。9月10日，奎屯市宣布成立，由克拉瑪依市析出。同時，伊犁州黨政機關由伊寧市遷至奎屯市，奎屯市成為伊犁州首府。1978年7月，在原農七師奎屯地區場（廠）礦企業的基礎上成立伊犁州奎屯農墾局。1979年10月，伊犁州黨政機關遷回伊寧市。之后，州黨委決定奎屯市和奎屯農墾局合署辦公，實行“一套班子，兩塊牌子，統一領導，分別核算”的體制，雙方領導互相兼職。

1981年12月，中共中央、國務院、中央軍委決定恢復新疆生產建設兵團。1982年4月在伊犁州奎屯農墾局基礎上恢復農七師；12月30日伊犁州黨委發出《關于奎屯市黨政機構單設的通知》：“現在兵團已經恢復，原奎屯農墾局已不存在，市、局領導互相兼任的領導職務，自然免除。”1983年1月，奎屯市革命委員會改為奎屯市人民政府，奎屯市與農七師體制分開，市委、市政府機構單設，直屬伊犁州管轄。

1997年，奎屯市面積1036平方千米，人口24萬，市區人口0.95萬。轄5個街道：團結路街道、火車站街道、烏魯木齊東路街道、北京路街道、烏魯木齊西路街道。市政府駐團結街道。

2000年第五次人口普查，奎屯市常住總人口285299人，其中：團結路街道37961人、烏魯木齊東路街道19656人、北京路街道32778人、烏魯木齊西路街道12379人、火車站街道7119人、開干齊鄉483人、車排子兵團123團23973人、高泉兵團124團20167人、柳溝兵團12522288人、科克蘭木12615161人、蘇興灘兵團127團16790人、前山兵團128團14457人、五五兵團129團16223人、六十戶兵團130團20143人、喀拉蘇兵團131團19151人、風城兵團137團6570人。

2003年，奎屯市總面積1171.42平方千米，總人口295521人。轄5個街道、1個鄉：烏魯木齊東路街道、烏魯木齊西路街道、團結路街道、北京路街道、火車站街道、開干齊鄉。市政府駐市區團結廣場。

2010年第六次人口普查，奎屯市常住總人口166261人，其中：團結路街道30012人，烏東路街道20010人，北京路街道47576人，烏魯木齊西路街道8991人，火車站街道7706人，開干齊鄉1591人，兵團一三一團24154人，天北新區26221人。