嘉義市古名“諸羅山”,其名由來有二: 一為“番語”社名之譯音,荷蘭人稱之為Tirosen社,音近諸羅山社,一為取其東方“諸山羅列”之意。亦名桃城,以其古城形如桃而名,桃之尾尖,在今中央七彩噴水一帶,市民慣稱桃仔尾。
明永歷十五年(1661年)鄭成功驅逐荷人,建立臺灣政權,設一府二縣,即承天府與天興、萬年兩縣,以新港溪(今之鹽水溪)為二縣分界,嘉義隸屬天興縣。清康熙二十二年,清政府對臺灣實施統治,康熙二十三年設臺灣府統三縣,即分明鄭時代的萬年縣為臺灣、鳳山兩縣,改天興縣為諸羅縣,縣署設于佳里興(今之臺南縣佳里鎮),康熙四十三年(1704年),縣治自佳里興遷移諸羅山,即今嘉義市。乾隆五十一年(1786年),林爽文反清,圍攻諸羅城十月,城內人民協助清軍有功,清政府本著“嘉其死守城池之忠義”的宗旨,翌年十一月初三日下詔,改稱“諸羅”為“嘉義”。光緒十一年,臺灣奉準正式建省,十三年,分全臺為三府一直隸州十一縣三廳,嘉義縣屬于臺灣府,縣治仍設于嘉義。
1920年,隸臺南州于嘉義郡之下,開始實施地方自治,嘉義正式成為自治團體的嘉義街,1930年,嘉義街改升為市。
1945年,臺灣光復,嘉義市升格為省轄市,直隸省政府。1950年調整行政區域,嘉義市改為縣轄市。1982年7月1日,嘉義市恢復為省轄市。
1945年10月臺灣正式歸還。國民黨政府接管臺灣,考慮到地方自治的需要,乃將日本統治時期的五州三廳,改為八縣,并將日本統治時期的11市改為9省轄市、2縣轄市。其中:嘉義市管轄區域:東為新東區紅毛埤,位于東經120°30′20″;西為新北區竹子腳,位于東經120°23′7″;南為新南區下路口,位于北緯23°26′40″;北為新北區后湖,位于北緯23°25′18″。本市四周東與竹崎、番路二鄉為鄰,西接太保鄉,南與水上鄉毗連,北與民雄鄉為界。面積為55.9317平方千米,人口75224人。管轄東門、西門、南門、北門、八獎、竹園、北鎮、東山等8區。市政府設于嘉義市。
1950年臺灣省調整各縣市行政區域,其中臺南縣合嘉義市,分為臺南、嘉義、云林三縣。嘉義縣轄嘉義市及嘉義、東石二區,計1市(6區)16鄉鎮,494123人,面積1951.3945平方千米。縣政府設于嘉義市。
1982年6月24日,嘉義縣嘉義市改制為省轄市。