周初屬并州，春秋屬晉，戰國屬趙，秦屬太原郡。晉為西河國、太原國。隋屬婁煩、西河等郡，唐屬石州、汾州、隰州、嵐州、并州等。宋增設晉寧軍，金屬石州、汾州、隰州、嵐州及太原府。元屬冀寧路。明、清屬太原府、平陽府、汾州府。民國屬冀寧道。
　　1949年設興縣專區，專署駐興縣，轄興縣、臨縣、方山、離石、偏關、神池、五寨、河曲（駐巡鎮司）、保德、嵐縣、岢嵐等11縣；設汾陽專區，行署駐汾陽縣，轄汾陽等9縣。1950年嵐縣駐地遷東村。1951年3月27日汾陽專區撤銷，交城、文水、汾陽、孝義等縣劃歸榆次專區，中陽縣劃歸興縣專區；石樓縣劃歸晉南專區。1952年7月1日撤銷興縣專區，將興縣、保德、河曲、偏關、神池、五寨、岢嵐、嵐縣等8縣劃歸忻縣專區；中陽、離石、方山、臨縣4縣劃歸榆次專區。
　　1954年7月1日，離石、方山二縣合并為離山縣。1958年11月10日，文水、交城二縣并入汾陽縣，中陽縣與離山縣合并為離石縣，孝義縣并入介休縣，嵐縣分別劃入靜樂和興縣，石樓縣并入呂梁縣。1959年9月19日除孝義縣以外其它各縣恢復建置，1961年5月恢復孝義縣建置。
　　1971年5月1日，設立呂梁地區，地區駐離石縣。將原屬晉中地區的臨縣、交城、離石、汾陽、文水、孝義、中陽等7縣及原屬臨汾地區的石樓縣，原屬忻縣地區的興縣、嵐縣劃歸呂梁地區。恢復方山縣（駐圪洞），由靜樂縣析置婁煩縣（駐婁煩鎮）。由孝義、隰縣、靈石3縣部分地區設立交口縣（駐交口）。轄13縣。
　　1972年4月，婁煩縣劃歸太原市；1971年10月5日，由離石、中陽2縣析置設柳林縣（駐柳林鎮）（山西省革命委員會1971年7月5日報告實施，國務院1973年10月5日正式批準）。1992年2月10日，經國務院批準撤銷孝義縣，設立孝義市。1996年4月29日，經國務院批準撤銷離石縣，設立離石市。1996年8月20日，經國務院批準撤銷汾陽縣，設立汾陽市。
　　2000年第五次人口普查，呂梁地區總人口3,382,280人，其中：孝義市414,154人，離石市235,678人，汾陽市387,046人，文水縣401,641人，交城縣207,404人，興縣259,451人，臨縣553,440人，柳林縣282,840人，石樓縣101,858人，嵐縣163,897人，方山縣135,598人，中陽縣131,812人，交口縣107,461人。
　　2003年10月23日，國務院批準（國函[2003]112號）撤銷呂梁地區，設立地級呂梁市：（1）撤銷呂梁地區和縣級離石市，設立地級呂梁市。市政府駐新設立的離石區永寧中路。（2）呂梁市設立離石區，以原離石市的行政區域為離石區的行政區域，區政府駐交通路。（3）呂梁市轄原呂梁地區的交城縣、文水縣、興縣、嵐縣、臨縣、方山縣、中陽縣、柳林縣、交口縣、石樓縣和新設立的離石區，原呂梁地區的縣級汾陽市和孝義市由省直轄。