因瀕臨汾河，故名。堯都平陽，即今臨汾。春秋晉都絳（亦曰翼，今翼城縣）。后遷都曲沃（今曲沃縣），再后又遷都新田（今侯馬市）。戰(zhàn)國時為韓初都之平陽（今堯都區(qū)）。秦、漢為河東郡地。三國魏正始八年（247）置平陽郡（今堯都區(qū)）。晉永嘉三年漢劉淵建都于今堯都。前趙置雍州（今堯都區(qū)境）、冀州（今安澤縣境）。北魏廢冀州，改雍州為唐州，置南吐京郡（今 隰縣境）、汾西郡（今汾西縣境）。旋廢南吐京郡。神麚元年（428）置禽昌郡（今吉縣境），太平真君二年（441）徙治今洪洞縣境。正平二年（452）置五城郡（今吉縣境）。延興四年（474）置定陽郡（今吉縣境）、中陽郡（今鄉(xiāng)寧縣境）。太和十二年（488）置汾州（今 隰縣境）。
孝昌二年（526）廢汾州，僑置西河郡（今堯都區(qū)境）。三年置北絳郡（今翼城縣境）；五城、定陽2郡徙治今堯都區(qū)境。建義元年（528）改唐州為晉州，置永安郡（今霍州市境），置冀氏、義寧2郡（今安澤縣境），永安郡徙治今洪洞縣境。永安年間置南汾州（今吉縣境）。北魏末年永安郡歸治今霍州市境。東魏定陽郡徙治今介休市境。天平四年（537）置敷城郡（今堯都區(qū)境）。興和二年（540）置北五城郡（今堯都區(qū)境）。北齊廢冀氏郡，改南汾州為西汾州，置臨汾郡（今汾西縣境）。北周廢五城、北五城、敷城3郡，置石城郡（今蒲縣境），改西汾州為汾州。大象元年（579）廢石城郡，置龍泉郡（今 隰縣境）、臨河郡（今永和縣境）。
隋開皇元年（581）改平陽郡為平河郡，置吉陽郡（今吉縣境）。三年廢郡。四年改汾州為西汾州，五年改隰州。十六年置汾州（今霍州市境）、耿州（今吉縣境）。十八年改汾州為呂州、耿州為汾州。大業(yè)三年（607）廢呂州，改晉州為臨汾郡、隰州為龍泉郡、汾州為文城郡。義寧元年（617）置霍山郡（今霍州市境）、翼城郡（今翼城縣境），二年改臨汾郡為平陽郡。唐武德元年（618）改平陽郡為晉州、霍山郡為呂州、龍泉郡為隰州、翼城郡為澮州、文城郡為汾州，二年置昌州（今蒲縣境）、中州（今大寧縣境）、東和州（今永和縣境），改澮州為北澮州，三年升晉州為總管府，四年升都督府，廢北澮州，五年改汾州為南汾州。
貞觀元年（627）廢中、昌2州，二年廢東和州，六年廢晉州都督府，復為晉州，八年改南汾州為慈州，十年置新田府（今侯馬市境），后廢，十七年廢呂州。天寶元年（742）改晉州為平陽郡、隰州為大寧郡、慈州為文城郡。乾元元年（758）改平陽郡為晉州、大寧郡為隰州、文城郡為慈州。五代梁開平四年（910）廢晉州，改置定昌軍。貞明三年（917）改建寧軍。五代唐同光元年（923）改建雄軍。五代晉復為晉州。宋太平興國六年（981）以晉州置晉州平陽郡。熙寧五年（1072）廢慈州，元祐元年（1086）復置。政和三年（1113）升趙城縣（故治在今洪洞縣境）為慶祚軍。六年升晉州平陽郡為平陽府。
金廢慶祚軍。天會六年（1128）置河東南路（今堯都區(qū)境），改隰州為南隰州。天德三年（1151）改南隰州為隰州、慈州為耿州。明昌元年（1190）改耿州為吉州。貞佑三年（1215）升霍邑縣（故治在今霍州市境）為霍州。興定四年（1220）升翼城縣為翼州。五年置蒲州（今蒲縣境）。元光二年（1223）升翼州為翼安軍。元廢翼安軍、蒲州、河東南路，改平陽府為平陽路。大德九年（1305）改平陽路為晉寧路。明洪武九年（1376）改平陽府。后置河東道（今堯都區(qū)境）。清雍正二年（1724）升隰、吉2州為直隸州，乾隆三十七年（1772）升霍州為直隸州，降吉州為散州。民國初年廢府、道、州。
1949年設臨汾專區(qū)，專署駐臨汾縣。轄臨汾、襄陵、曲沃、吉縣、鄉(xiāng)寧、汾城、安澤、大寧、永和、蒲縣、汾西、隰縣、趙城、洪洞、霍縣、浮山、翼城等17縣。1951年原汾陽專區(qū)所屬石樓縣劃入臨汾專區(qū)。1954年將洪洞、趙城2縣合并為洪趙縣（駐原洪洞縣城）；襄陵、汾城2縣合并為襄汾縣（駐原汾城縣史村）。同年撤銷臨汾專區(qū)，改設晉南專區(qū)，專署駐臨汾縣。將原臨汾專區(qū)所屬臨汾、洪趙、霍縣、安澤、浮山、翼城、曲沃、襄汾、鄉(xiāng)寧、吉縣、蒲縣、大寧、永和、石樓、隰縣、汾西等16縣，運城專區(qū)所屬安邑、萬榮、河津、稷山、新絳、聞喜、絳縣、垣曲、夏縣、平陸、解虞、芮城、永濟、臨猗等14縣及運城鎮(zhèn)劃歸晉南專區(qū)。晉南專區(qū)轄30縣、1鎮(zhèn)。
1955年運城鎮(zhèn)改為縣轄鎮(zhèn)，并入安邑縣。1958年設立侯馬市；撤銷曲沃、新絳、襄汾、絳縣4縣，將曲沃、新絳2縣全部和襄汾、絳縣2縣部分地區(qū)劃入侯馬市；襄汾縣部分地區(qū)并入臨汾縣；絳縣部分地區(qū)并入翼城、聞喜、垣曲3縣；撤銷浮山縣，并入臨汾縣；撤銷夏縣，并入聞喜、垣曲2縣；撤銷霍縣、汾西2縣，合并設立霍汾縣（駐原霍縣縣城）；后又撤銷霍汾、洪趙2縣，合并設立洪洞縣（駐舊洪洞縣城）；撤銷吉縣，并入鄉(xiāng)寧縣；撤銷隰縣、大寧2縣，合并設立隰寧縣（駐原隰縣城）；后又撤銷隰寧、蒲縣、永和、石樓4縣，合并設立呂梁縣（駐原隰縣城）；撤銷安邑、解虞、臨猗、永濟4縣，將臨猗縣部分地區(qū)劃歸萬榮縣，永濟縣中條山以南地區(qū)劃歸芮城縣；將安邑、解虞2縣全部和臨猗、永濟2縣部分地區(qū)合并設立運城縣（駐運城鎮(zhèn)）；撤銷河津縣，并入稷山縣。晉南專區(qū)轄侯馬市及臨汾、洪洞、安澤、翼城、鄉(xiāng)寧、呂梁、萬榮、稷山、聞喜、垣曲（駐劉張鎮(zhèn)）、平陸（駐圣人澗鎮(zhèn)）、運城、芮城等13縣。1959年撤銷萬榮縣，并入稷山縣。1960年恢復浮山、霍汾、蒲縣、石樓、萬榮、臨猗（駐舊猗氏縣城）6縣。1961年恢復霍縣、汾西、絳縣、襄汾、夏縣、永濟（駐趙伊鎮(zhèn)）、吉縣、永和、大寧、隰縣10縣；撤銷霍汾、呂梁2縣。1962年恢復河津、新絳2縣。1963年撤銷侯馬市，恢復曲沃縣（駐侯馬鎮(zhèn)）。
1970年撤銷晉南專區(qū)，設立臨汾地區(qū)，地區(qū)駐臨汾縣。將運城、新絳、絳縣、稷山、萬榮、永濟、夏縣、聞喜、平陸、垣曲、芮城、河津、臨猗等13縣劃歸運城地區(qū)。臨汾地區(qū)轄臨汾、霍縣、汾西、洪洞、永和、大寧、隰縣、蒲縣、吉縣、鄉(xiāng)寧、安澤、翼城、浮山、曲沃、襄汾、石樓等16縣。1971年由臨汾縣析置臨汾市，地區(qū)駐臨汾市�；謴秃铖R市。臨汾縣遷駐龍祠；曲沃縣遷駐原曲沃縣城。由安澤、浮山2縣部分地區(qū)設立古縣。將石樓縣劃歸呂梁地區(qū)。臨汾地區(qū)轄2市、16縣。1973年臨汾縣遷駐劉村。1975年臨汾縣遷駐臨汾市，古縣遷駐岳陽鎮(zhèn)。
2000年6月23日，經(jīng)國務院批準：（1）撤銷臨汾地區(qū)和縣級臨汾市，設立地級臨汾市。市政府駐新設立的堯都區(qū)。（2）臨汾市設立堯都區(qū)，以原縣級臨汾市的行政區(qū)域為堯都區(qū)的行政區(qū)域。區(qū)政府駐鼓樓東大街。（3）臨汾市轄原臨汾地區(qū)的汾西縣、吉縣、安澤縣、大寧縣、浮山縣、古縣、隰縣、襄汾縣、翼城縣、永和縣、鄉(xiāng)寧縣、曲沃縣、洪洞縣、蒲縣和新設立的堯都區(qū)。原臨汾地區(qū)的侯馬市和霍州市由山西省直轄。
2000年第五次人口普查，臨汾市總?cè)丝?950845人，其中：堯都區(qū)724403人，曲沃縣222391人，翼城縣303258人，襄汾縣466163人，洪洞縣693261人，古縣84696人，安澤縣76139人，浮山縣121323人，吉縣97096人，鄉(xiāng)寧縣216408人，大寧縣56037人，隰縣95895人，永和縣61001人，蒲縣98860人，汾西縣133836人，侯馬市225123人，霍州市274955人。