因位于汾河之陽（西）而得名。據(jù)《明史·地理志》，汾陽縣，奉宋金元汾陽軍，汾陽軍取義則因地當(dāng)汾河之陽。始建于春秋初期，為瓜衍縣，屬并州。戰(zhàn)國屬趙，為茲氏縣。秦、漢時(shí)期仍名茲氏縣（今市區(qū)西南8千米鞏村），屬并州刺史部太原郡。新莽改茲同，東漢復(fù)舊。三國魏黃初二年（221）茲氏縣治徙今城關(guān)，且為西河郡治。西晉改為隰城縣，改郡為西河國。永嘉末年陷廢。北魏太延年間置什星軍，后廢。太和八年（484）復(fù)置隰城縣及西河郡，隸汾州。孝明帝時(shí)郡治南徙至今臨汾地區(qū)。孝昌年間汾州自今交口縣境徙此。東魏天平二年（535）于今城關(guān)南8千米東陽城村僑置靈州和真君郡。武定四年（546）于今城關(guān)東南8千米團(tuán)城村置武昌郡。北齊改汾州為南朔州。北周廢靈州，改南朔州為介州。
　　隋大業(yè)中年改介州為西河郡。唐武德元年（618）改西河郡為浩州，三年復(fù)為汾州。天寶元年（742）改汾州為西河郡，乾元元年（758）復(fù)為汾州。上元元年（760）改隰城縣為西河縣，屬汾州。宋屬河?xùn)|路。金屬河?xùn)|北路。元屬冀寧路。明洪武元年（1368），省西河縣置汾州（直隸州），兼領(lǐng)平遙、介休、孝義三縣。萬歷二十三年（1595）升汾州為汾州府，依廓設(shè)汾陽縣，府屬冀南道，府、道治所皆駐縣城內(nèi)。清康熙六年（1667）冀南道廢入冀寧道。民國年間廢府、道，縣直屬省。
　　民國29年，屬晉西北行署第八專區(qū)；民國32年，屬晉綏邊區(qū)行署第八專區(qū)；民國34年，屬晉綏邊區(qū)呂梁行署七專區(qū)；民國37年，縣劃屬華北區(qū)晉中專區(qū)。1948年7月，汾陽全境解放。1949年屬汾陽專區(qū)，為專署駐地。1951年廢汾陽專區(qū)，縣改屬榆次專區(qū)。1958年屬晉中專區(qū)。1967年屬晉中地區(qū)。1971年5月劃歸新成立的呂梁地區(qū)。1996年8月20日，經(jīng)國務(wù)院批準(zhǔn)，汾陽撤縣設(shè)市，為縣級(jí)市。
　　1997年，汾陽市轄10鎮(zhèn)8鄉(xiāng)：城關(guān)鎮(zhèn)、石莊鎮(zhèn)、演武鎮(zhèn)、三泉鎮(zhèn)、楊家莊鎮(zhèn)、肖家莊鎮(zhèn)、賈家莊鎮(zhèn)、峪道河鎮(zhèn)、杏花村鎮(zhèn)、冀村鎮(zhèn)、南偏城鄉(xiāng)、見喜鄉(xiāng)、栗家莊鄉(xiāng)、陽城鄉(xiāng)、張家堡鄉(xiāng)、宋家莊鄉(xiāng)、萬寶山鄉(xiāng)、城子鄉(xiāng)。市政府駐城關(guān)鎮(zhèn)。
　　2000年第五次人口普查，汾陽市總?cè)丝?87046人，其中：城關(guān)鎮(zhèn)72883人，杏花村鎮(zhèn)27765人，冀村鎮(zhèn)14919人，演武鎮(zhèn)26892人，三泉鎮(zhèn)32807人，峪道河鎮(zhèn)16580人，楊家莊鎮(zhèn)12646人，賈家莊鎮(zhèn)34355人，肖家莊鎮(zhèn)32023人，石莊鎮(zhèn)11997人，城子鄉(xiāng)23766人，見喜鄉(xiāng)21972人，陽城鄉(xiāng)21215人，南偏城鄉(xiāng)4422人，栗家莊鄉(xiāng)17153人，張家堡鄉(xiāng)9157人，宋家莊鄉(xiāng)5409人，萬寶山鄉(xiāng)1085人。
　　2001年，區(qū)劃調(diào)整后，全市轄2個(gè)街道、9個(gè)鎮(zhèn)、3個(gè)鄉(xiāng)：文峰街道、太和橋街道、賈家莊鎮(zhèn)、杏花村鎮(zhèn)、冀村鎮(zhèn)、肖家莊鎮(zhèn)、演武鎮(zhèn)、三泉鎮(zhèn)、石莊鎮(zhèn)、楊家莊鎮(zhèn)、峪道河鎮(zhèn)、西河鄉(xiāng)、陽城鄉(xiāng)、栗家莊鄉(xiāng)。
　　汾陽市轄9個(gè)鎮(zhèn)（杏花村鎮(zhèn)、賈家莊鎮(zhèn)、冀村鎮(zhèn)、肖家莊鎮(zhèn)、演武鎮(zhèn)、峪道河鎮(zhèn)、三泉鎮(zhèn)、石莊鎮(zhèn)、楊家莊鎮(zhèn)）、3個(gè)鄉(xiāng)（陽城鄉(xiāng)、西河鄉(xiāng)、栗家莊鄉(xiāng)）、2個(gè)街道（文峰街道、太和橋街道），共有318個(gè)行政村，356個(gè)自然村。