三國置江由戌，北魏正始二年（505年）于今平武南壩置江油縣。江油，取涪江水清澈如油之意。一說系油溪而來。東晉寧康時于今青蓮置漢昌縣。西魏廢帝二年（553年）更名昌隆縣。唐先天元年（712年）更名昌明縣，后唐同光元年（923年）改名彰明縣。1958年江油、彰明兩縣合并為江彰縣。1959年復改江油縣。1988年撤縣設市。

1913年，江油縣鄉鎮行政區劃，仍沿襲清宣宗道光二十年（1840年）的舊制，全縣分東、南、西、北等四鄉，稱東鄉、西鄉……鄉以下全縣分十甲，甲以序數為名，稱一甲、二甲、三甲……每鄉轄二三個甲，亦稱東六甲、西八甲。縣以下時為鄉、甲二級制，甲是最基層行政單位。1914年，全縣4鄉分設為8個鄉，以序數為名稱一鄉、二鄉、三鄉……鄉以下仍設甲，全縣仍分10甲，每鄉轄1至2個甲；江油是鄉、甲兩級制。與江油相鄰的彰明縣（1958年撤，并入江油縣）將清末的9個鄉20個保改為9個區、18個保、4個團，實行區、保（團）、甲三級制。

1929年，全縣8個鄉改為8個區，稱一區、二區、三區……10個甲分設為18個鄉，鄉以鄉治所在地較大場鎮名稱為名，如大康鄉、新安鄉、永平鄉等，每區轄2至3個鄉，每鄉轄幾個至10多個甲，時為區、鄉、甲三級制。1936年1月，為解決當時嚴重的社會治安問題，全縣分為3個區，24個聯保，492保、4920甲，區仍以序數為名，聯保以保公所所在鄉場名稱為名，如雙河聯保、中和聯保、讓水聯保等，保、甲以鄉聯保為一塊按序數稱呼。如一保、二保，一保一甲、二保一甲。時為區、聯保、保、甲四級制。

1940年8月，為適應抗戰需要，統一行政區劃，撤銷聯保改為鄉鎮，撤并部分保、甲。全縣仍分為3個區，原24個聯保改為4個鎮17個鄉，原492個保撤并為295個保，原4920個甲撤并為3156個甲。時為區、鄉（鎮）、保、甲四級制。與江油相鄰的彰明縣，當年也在按省政府指令調整縣以下行區劃，撤銷區的建制，由縣政府直轄聯保（當時彰明是全省最小的一個縣，面積僅600多平方千米）。

1950－1955年，先后7次調整行政區劃。至1955年，全縣分設5個區（縣的派出機構）、2個鎮、32個鄉、284個村、10個居民委員會，約3000個村（居）民小組。1958年秋，彰明縣并入江油縣，全縣分設為9個區、40個政社合一的人民公社、361個管理區、1588個生產小隊。1984年后，江油縣（市）多次進行撤區并鄉建鎮工作。

1996年，江油市面積2719.3平方千米，人口85萬人。轄4個街道、20個鎮、21個鄉：長鋼街道、武都長鋼街道、含增長鋼街道、華平街道、中壩鎮、三合鎮、太平鎮、含增鎮、青蓮鎮、彰明鎮、龍鳳鎮、武都鎮、大康鎮、新安鎮、戰旗鎮、雙河鎮、永勝鎮、小溪壩鎮、重華鎮、河口鎮、厚壩鎮、二郎廟鎮、馬角壩鎮、雁門鎮、九嶺鄉、西屏鄉、方水鄉、八一鄉、香水鄉、大堰鄉、東興鄉、北城鄉、義新鄉、貫山鄉、新春鄉、新興鄉、東安鄉、文勝鄉、銅星鄉、重興鄉、云集鄉、石元鄉、敬元鄉、六合鄉、楓順鄉。市政府駐中壩鎮。

2000年第五次人口普查，江油市總人口849761人，其中：長鋼街道28515人，武都長鋼街道19472人，含增長鋼街道8873人，華平街道3753人，中壩鎮77523人，太平鎮66140人，三合鎮94215人，含增鎮9371人，青蓮鎮16117人，彰明鎮17639人，龍鳳鎮14195人，武都鎮34694人，大康鎮21360人，新安鎮17527人，戰旃鎮16614人，雙河鎮16572人，永勝鎮26741人，小溪壩鎮16267人，河口鎮13187人，重華鎮16486人，厚壩鎮21787人，二郎廟鎮33212人，馬角鎮18684人，雁門鎮10733人，九嶺鄉16339人，八一鄉14685人，方水鄉14473人，西屏鄉15962人，香水鄉8095人，大堰鄉16169人，東興鄉10410人，北城鄉6195人，義新鄉13532人，貫山鄉13874人，新興鄉14076人，新春鄉14715人，東安鄉12970人，銅星鄉12010人，文勝鄉8864人，重興鄉9598人，云集鄉9464人，石元鄉4448人，敬元鄉7247人，六合鄉4398人，楓順鄉2560人。

2003年12月8日，省政府（川府民政[2003]33號）批復同意北城鄉政府駐地由白石村一組遷至白衣村九組天竹山。2004年，江油市轄長鋼、華平、武都、含增4個街道，彰明、重華、三合、含增、龍鳳、永勝、雙河、河口、馬角、青蓮、武都、雁門、新安、戰旗、九嶺、太平、大康、二郎廟、中壩、小溪壩、厚壩21個鎮和六合、西屏、北城、銅星、新春、新興、義新、貫山、石元、楓順、敬元、大堰、東興、八一、云集、重興、東安、文勝、方水、香水20個鄉。

2005年，全市轄4個街道、20個鎮、21個鄉，481個村、59個社區1、31個家屬委員會，3433個村民小組、615個居民小組。2006年1月6日，省政府（川府民政[2006]2號）批復同意撤銷北城鄉，將原北城鄉的龍井、興隆、云頂3個村和白石村的第五、六、七、八村民小組所屬的行政區域劃歸永勝鎮管轄，將原北城鄉的白衣、柳林、代東、大坪、觀霧、小河6個村和白石村的第三村民小組所屬的行政區域劃歸武都鎮管轄。

2010年第六次人口普查，江油市常住總人口762140人，其中：長鋼街道18705人，武都長鋼街道18709人，含增長鋼街道5752人，華坪街道1013人，中壩鎮111711人，太平鎮78884人，三合鎮95912人，含增鎮8121人，青蓮鎮14676人，彰明鎮14640人，龍鳳鎮12913人，武都鎮36350人，大康鎮18250人，新安鎮13569人，戰旗鎮10554人，雙河鎮11632人，永勝鎮24430人，小溪壩鎮13489人，河口鎮8549人，重華鎮11688人，厚壩鎮20135人，二郎廟鎮23853人，馬角鎮11818人，雁門鎮8269人，九嶺鎮15655人，八一鄉11672人，方水鄉10828人，西屏鄉14477人，香水鄉7154人，大堰鄉12678人，東興鄉7429人，義新鄉10406人，貫山鄉11177人，新興鄉8347人，新春鄉9734人，東安鄉9492人，銅星鄉7204人，文勝鄉5656人，重興鄉6792人，云集鄉6423人，石元鄉2846人，敬元鄉4987人，六合鄉3388人，楓順鄉2173人。

2014年，省政府（川府民政[2014]14號）批復同意撤銷文勝鄉、大堰鄉、貫山鄉、西屏鄉，設立文勝鎮、大堰鎮、貫山鎮、西屏鎮。2015年，省政府（川府民政[2015]2號）批復同意撤銷方水鄉、香水鄉，設立方水鎮、香水鎮。2015年4月29日，綿陽市政府批復同意江油市撤銷原長鋼三個街道成立長城街道：撤銷長鋼街道、武都長鋼街道、含增長鋼街道，設立長城街道，街道辦事處駐長鋼路130號，轄原長鋼、武都長鋼、含增長鋼3個街道以及厚壩長鋼生活區行政區域，共9個社區。至此，全市轄2個街道、27個鎮、13個鄉：長城街道、華平街道、中壩鎮、太平鎮、三合鎮、含增鎮、青蓮鎮、彰明鎮、龍鳳鎮、武都鎮、大康鎮、新安鎮、戰旗鎮、雙河鎮、永勝鎮、小溪壩鎮、河口鎮、重華鎮、厚壩鎮、二郎廟鎮、馬角鎮、雁門鎮、九嶺鎮、文勝鎮、大堰鎮、貫山鎮、西屏鎮、方水鎮、香水鎮、八一鄉、東興鄉、義新鄉、新興鄉、新春鄉、東安鄉、銅星鄉、重興鄉、云集鄉、石元鄉、敬元鄉、六合鄉、楓順鄉。