西漢元朔三年（公元前126年）于今城關北16千米黑峪塔村古城梁置陵水縣，屬西河郡。東漢永和年間廢入離石縣。北周大象元年（579年）于今城關北25千米故縣村置烏突郡、縣；又于今縣境置盧山縣，屬離石郡。隋開皇元年（581年）烏突郡改為太和郡，烏突縣改為太和縣，徙治今城關南15千米府底村。開皇三年太和郡廢，太和縣改屬石州。大業初年盧山縣廢入修化縣。唐武德三年（620年）改太和縣為臨泉縣，屬北和州，貞觀三年（629年）屬石州。臨泉縣以縣北之臨泉水故名。又據光緒《山西通志》，臨縣以縣城東臨湫水（又名臨川河）為名。
　　宋元符二年（1099）屬晉寧軍。金天會元年，改臨泉縣為臨水縣，屬石州。蒙古中統二年（1261）復名臨泉縣，歸治今故縣村，屬太原府。三年升臨州，隸冀寧路。元世祖至元五年（1268）徙今治。明洪武二年（1369）臨州廢，改為臨縣，屬太原府。萬歷二十三年（1595）改屬汾州府。民國初年屬冀寧道，道廢后直屬省。1940年以三交鎮為中心析置臨南縣，屬晉綏邊區四專署；1946年并入臨縣。1949年屬興縣專區。1952年屬榆次專區。1958年屬晉中專區。1967年屬晉中地區。1971年屬呂梁地區。現屬地級呂梁市。
　　1997年，臨縣轄10鎮28鄉：叢羅峪鎮、城關鎮、白文鎮、兔坂鎮、克虎寨鎮、湍水頭鎮、三交鎮、招賢鎮、磧口鎮、劉家會鎮、曜頭鄉、城莊鄉、程家塔鄉、萬安里鄉、木瓜坪鄉、安業鄉、玉坪鄉、陽泉鄉、孝長鄉、青涼寺鄉、曹峪坪鄉、石白頭鄉、梁家會鄉、雷家磧鄉、開化鄉、水槽溝鄉、第八堡鄉、歧道鄉、后大禹鄉、車趕鄉、棗圪垯鄉、林家坪鄉、高家山鄉、索達干鄉、安家莊鄉、許家峪鄉、小甲頭鄉、曲峪鄉。縣政府駐城關鎮。
　　2000年第五次人口普查，臨縣總人口553440人，其中：城關鎮55928人，白文鎮18707人，城莊鎮19338人，兔板鎮11478人，克虎鎮11233人，三交鎮36421人，湍水頭鎮15614人，林家坪鎮17340人，招賢鎮15142人，磧口鎮17817人，劉家會鎮19484人，叢羅峪鎮16985人，曜頭鄉19208人，程家塔鄉4870人，萬安里鄉11149人，木瓜坪鄉16592人，安業鄉21747人，玉坪鄉12254人，陽泉鄉5288人，孝長鄉7152人，青涼寺鄉10419人，石白頭鄉9256人，曹峪坪鄉10458人，梁家會鄉4429人，雷家磧鄉7265人，開化鄉8194人，水槽溝鄉9229人，第八保鄉11832人，歧道鄉24071人，后大禹鄉13206人，棗圪塔鄉14274人，車趕鄉13286人，高家山鄉8619人，索達干鄉11502人，許家峪鄉8919人，安家莊鄉10226人，小甲頭鄉11659人，曲峪鄉12849人。
　　2001年，區劃調整后，全縣轄13個鎮、10個鄉：臨泉鎮、白文鎮、城莊鎮、兔板鎮、克虎鎮、三交鎮、湍水頭鎮、林家坪鎮、招賢鎮、磧口鎮、劉家會鎮、叢羅峪鎮、曲峪鎮、木瓜坪鄉、安業鄉、玉坪鄉、青涼寺鄉、石白頭鄉、雷家磧鄉、第八堡鄉、大禹鄉、車趕鄉、安家莊鄉。縣政府駐臨泉鎮。