因原為隋代交城縣故治，因名故交，后訛為古交。隋開皇十六年（596），析晉陽西境置交城縣（縣治交山，在今古交城區），屬太原郡。唐天授二年（691），交城縣治徙卻波村（今交城縣城），以就驛道。先天二年（713），析交城縣北境于今古交境域置盧川縣，縣治在今爐峪口。開元二年（714），撤盧川縣復并入交城縣。此后直到民國初年的1200多年中，古交境內無縣級建置，為交城、陽曲二縣地。
　　民國26年（1937）11月，日軍先后侵占了太原和交城縣城。民國26年（1937）11月至翌年3月八路軍一二零師三五八旅挺進古交，發動群眾組建了半政權性質的陽（曲）交（城）邊區民族革命戰爭戰地總動員委員會，初創了革命根據地。民國27年（1938）3月至翌年，山西省第八行政督察員公署在河口鎮成立，后移駐獅子河一帶，同時，山西省陽曲縣政府駐河口一帶，交城縣政府駐屯蘭川一帶。
　　從1940年至1945年8月抗日戰爭勝利，晉綏邊區第八分區專員公署（原山西省第二游擊區第八分區專員公署，1941年8月改稱為晉西北第八分區專員公署，1943年11月改稱晉綏邊區第八分區專員公署）先是游動，后長駐在屯蘭川關頭村一帶。交城縣抗日民主政府駐屯蘭川、原平川一帶，陽曲縣抗日民主政府駐獅子河一帶。1946年冬，閻軍進占古交鎮、河口等地，并組建古交行政管理區（縣級），旋即被根據地軍民摧垮。1946年-1948年7月，陽曲縣政府駐河口、曹坪、大南坪一帶。
　　1958年8月，劃陽曲縣的嘉樂泉、閣上、梭峪、曹坪、杏林坪、大南坪、河口與交城縣的河南、古交9個鄉，設立太原市河口工礦區、區領導機關駐河口鎮。同年11月上旬，又劃交城縣的岔口、營立、姬家莊、鎮城底、原相、南頭、草莊頭、刑家社8個鄉，連前共17個鄉，改制太原市古交工礦區。1971年8月，婁煩縣的長足上大隊和雁門大隊劃歸本區。1988年，經國務院批準，古交撤區建市。

　　1997年，古交市面積1580平方千米，人口17萬人。轄4個街道、3個鎮、12個鄉：東曲街道、西曲街道、馬蘭街道、鎮城底街道、古交鎮、河口鎮、鎮城底鎮、河南鄉、大南坪鄉、閣上鄉、梭峪鄉、姬家莊鄉、常安鄉、草莊頭鄉、曹坪鄉、加樂泉鄉、原相鄉、邢家社鄉、岔口鄉。市政府駐古交鎮。
　　1998年底，古交市轄5個街道辦事處，53個居委會，15個鄉、鎮，200個村委會，387個自然村，全市人口18.86萬，其中非農業人口10.46萬，農業人口8.4萬，全市面積1584平方千米。
　　2000年第五次人口普查，古交市總人口205702人，其中：東曲街道34575人，西曲街道33126人，屯蘭街道12495人，馬蘭街道14563人，鎮城底街道19015人，古交鎮7053人，河口鎮12222人，鎮城底鎮7878人，河南鄉4168人，大南坪鄉3497人，曹坪鄉2920人，閣上鄉1255人，加樂泉鄉4421人，梭峪鄉9266人，姬家莊鄉6900人，岔口鄉8930人，常安鄉8469人，原相鄉5431人，草莊頭鄉5585人，邢家社鄉3933人。
　　2001年，曹坪鄉、大南坪鄉并入河口鎮，姬家莊鄉與馬蘭街道辦事處合并設立馬南鎮，草莊頭鄉并入邢家社鄉，河南鄉并入東曲街道辦事處，撤銷古交鎮與西曲街道辦事處，調整后設立桃園街道辦事處，撤銷鎮城底街道辦事處，將所轄居委會分別并入鎮城底鎮、嘉樂泉鄉、梭峪鄉。古交市轄7鄉3鎮4個街道辦事處。
　　2004年底，古交市轄4個街道、3個鎮、7個鄉：東曲街道、西街道、屯蘭街道、桃園街道；河口鎮、鎮城底鎮、馬蘭鎮；加樂泉鄉、邢家社鄉、梭峪鄉、閣上鄉、岔口鄉、常安鄉、原相鄉。