因在綿水之陽而得名。漢高祖六年（前201）置涪縣。晉永嘉元年（307）梓潼郡遷治涪城，以后歷代為州、郡治地。西魏置巴西郡，隋改稱綿州。1913年廢州設綿陽縣。1935年以綿陽為治地設四川省第十三行政督察區。

1950年設綿陽專區，屬川西行署區；綿陽專署駐綿陽縣，轄綿陽、彰明、梓潼、羅江、德陽、廣漢、金堂（駐趙鎮）、什邡（駐方亭鎮）、綿竹、安縣等10縣；江油、北川、平武3縣屬劍閣專區，三臺、鹽亭2縣屬遂寧專區。1951年江油縣遷駐中壩，舊治改稱武都鎮。1952年綿陽專區屬四川省領導。1953年，將廣漢、金堂、什邡3縣劃歸溫江專區；原廣元專區所屬廣元（駐嘉陵鎮）、旺蒼（駐馮家壩）、劍閣、江油、北川、平武、青川、昭化（駐寶輪鎮）等8縣劃入綿陽專區；轄15縣。

1958年，原遂寧專區所屬遂寧、三臺、蓬溪、鹽亭、潼南、射洪（駐太和鎮）、中江等7縣劃入綿陽專區；撤銷彰明、江油2縣，合并設立江彰縣（駐中壩）；綿陽專區轄21縣。1959年，江彰縣改名江油縣；撤銷昭化、羅江2縣，將昭化縣并入廣元縣；羅江縣并入綿陽、德陽、安縣3縣；綿陽專區轄19縣。1970年綿陽專區改稱綿陽地區，地區駐綿陽縣，轄綿陽、江油（駐中壩）、青川、平武、廣元（駐嘉陵鎮）、旺蒼（駐馮家壩）、劍閣、梓潼、三臺、鹽亭、射洪（駐太和鎮）、遂寧、蓬溪、潼南、中江、德陽、綿竹、安縣、北川等19縣。

1976年，由綿陽縣析置綿陽市，屬綿陽地區領導；綿陽地區駐綿陽市，轄1市、19縣。1977年將潼南縣劃歸江津地區；綿陽地區轄1市、18縣。1979年撤銷綿陽縣，并入綿陽市；綿陽地區轄1市、17縣。

1985年，（1）撤銷綿陽地區，綿陽市升為地級市，設立市中區；將原綿陽地區的江油等7縣劃歸綿陽市管轄。（2）撤銷廣元縣，設立地級廣元市和市中區；將原綿陽地區的青川、旺蒼2縣劃歸廣元市管轄。（3）撤銷遂寧縣，設立地級遂寧市和市中區；將原綿陽地區的蓬溪、射洪2縣劃歸遂寧市管轄。

1992年10月30日，民政部（民行批[1992]127號）批復同意撤銷綿陽市市中區，設立涪城區、游仙區。涪城區轄城廂、城北、工區、南山、朝陽5個街道辦事處和石塘、豐谷、塘汛、永興、吳家、楊家、青義、城郊、金峰9個鄉鎮，區人民政府駐原綿陽市市中區人民政府駐地，游仙區轄涪江街道辦事處和游仙、石馬、忠興、新橋、石板、魏城、徐家、沉抗、劉家、玉河、小枧溝、柏林、松埡、太平14個鄉鎮，區人民政府駐開元。

2000年第五次人口普查，綿陽市常住總人口5170141人。其中：涪城區671401人、游仙區491561人、三臺縣1395841人、鹽亭縣566541人、安縣484224人、梓潼縣362712人、北川縣160301人、平武縣187799人、江油市849761人。

2002年，報經省政府批準，對安縣的茶坪鄉撤鄉并更名建立千佛鎮，江油市的九嶺鄉撤鄉建立九嶺鎮，安縣縣政府駐地由安昌鎮遷址花街鎮，平武縣響巖鎮政府駐地由現集鎮遷址至東南約2千米大松樹。至年末全市共有鄉鎮建制277個，其中鄉134個（民族鄉22個），鎮143個，農村村民委員會3450個，村民小組27546個，城鎮街道辦事處16個，社區居委會414個，居民小組2337個。

2003年7月6日，國務院（國函[2003]75號）批準撤銷北川縣，設立北川羌族自治縣。7月31日四川省人民政府（川府函[2003]184號）批復撤銷北川縣，設立北川羌族自治縣。

2004年末，全市轄19個街道、143個鎮、123個鄉、11個民族鄉。共有392個社區、3418個村委會，2733個居民小組、25698個村民小組。

2005年4月4日，四川省人民政府（川府函[2005]53號）批復同意綿陽市人民政府機關辦公駐地由涪城區城郊鄉臨園路東段76號遷至城郊鄉園藝片區迎賓大道。

2010年第六次人口普查，綿陽市常住總人口4613871人，其中：涪城區866727人，游仙區488604人，三臺縣1042064人，鹽亭縣417221人，安縣366802人，梓潼縣302246人，北川羌族自治縣197108人，平武縣170959人，江油市762140人。

2013年1月9日，《四川省人民政府關于同意平武縣人民政府機關辦公駐地遷移的批復》（川府函[2013]7號）同意平武縣人民政府機關辦公駐地由龍安鎮政府街23號遷至龍安鎮金龍西路66號。