“塔城”系“塔爾巴合臺城”的簡稱，因塔爾巴哈臺山而得名。“塔爾巴哈臺”系蒙古語，意為“旱獺多的地方”，因此地產旱獺，故名。“塔城”民族語文名稱，則源于塔城市人民政府所在地楚呼楚這個地名，“楚呼楚”，蒙語，木碗之意，維吾爾語譯稱為“缺切克”，哈薩克語轉音為“喬協克”。

西漢時期為匈奴右地，唐為北庭都護府所屬陰山都督府，宋屬西州回鶻和西遼。清乾隆二十九年（1764）置塔爾巴哈臺，設參贊大臣，至雅爾（今哈薩克斯坦烏爾扎爾）地方屯種筑城。乾隆三十一年（1766）由于雅爾地方冬令雪大難于駐扎，因而移進二百余里楚呼楚（即今塔城市區）地方，另筑新城，頒賜城名綏靖城，隸屬伊犁將軍。

光緒十四年（1888）設置塔城直隸廳，隸屬伊塔道。民國二年（1913年）改塔城直隸廳為塔城縣，隸屬伊塔道。1916年，伊塔道改為伊犁、塔城兩道，塔城縣與塔城道同治，隸屬塔城道。1917至1942年，和豐、額敏、裕民先后從塔城縣析出置縣。

1930年隸塔城行政區，1943年隸塔城專區，1968年屬塔城地區。1984年11月17日，國務院批準撤銷塔城縣，設立塔城市。

1996年，塔城市轄3個街道、6個鄉：和平街道、新城街道、杜別克街道、二工鄉、恰夏鄉、阿西爾達斡爾族鄉、阿不都拉鄉、也門勒鄉、喀拉哈巴克鄉。駐有農九師所屬162、163、164等3個團場和地區種牛場。

2000年，塔城市轄3個街道、1個鎮、5個鄉。第五次人口普查，塔城市總人口149216人，其中：和平街道16858人、杜別克街道20163人、新城街道18182人、二工鎮17107人、喀拉哈巴克鄉 9835人、恰夏鄉11792人、阿西爾達斡爾民族鄉8731人、阿不都拉鄉7106人、也門勒鄉7641人、良種繁育場1944人、園藝場2192人、也克蘇牧場1889人、恰合吉牧場2201人、博孜達克農場4862人、窩依加依勞牧場1921人、地區種牛場2669人、葉爾盞提162團4585人、阿克喬克163團4002人、烏拉斯臺164團5530人。

2003年，塔城市總面積4007.19平方千米，總人口156922人，轄3個街道、1個鎮、4個鄉、1個民族鄉：二工鎮、也門勒鄉、喀拉哈巴克鄉、恰夏鄉、阿不都拉鄉、阿西爾達斡爾族鄉。

2010年第六次人口普查，塔城市常住總人口161037人，其中：和平街道22875人，杜別克街道26302人，新城街道20136人，二工鎮22666人，喀拉哈巴克鄉9492人，恰夏鄉10175人，阿西爾達斡爾民族鄉7833人，阿不都拉鄉6843人，也門勒鄉7632人，恰合吉牧場2237人，博孜達克農場4447人，窩依加依勞牧場4044人，地區種牛場1916人，兵團農九師一六三團8614人，兵團農九師一六四團5825人。

2012年，撤銷恰夏鄉，設立恰夏鎮（新政函[2012]91號）。調整后，全市轄3個街道、2個鎮、4個鄉（其中1個民族鄉）：和平街道、杜別克街道、新城街道、二工鎮、恰夏鎮、喀拉哈巴克鄉、阿西爾達斡爾族鄉、阿不都拉鄉、也門勒鄉。