西周武王時形成城市，周成王稱祄邑，戰國時改稱祄陽。秦置祄縣，為三川郡治所。漢代后歷為河南郡、司州、洛州、河南府、河南路治所。三國魏改洛陽縣。東周、東漢、三國（魏）、西晉、北魏（孝文帝后）、隋（煬帝）、武周、五代唐先后定都于此。新莽、唐、五代梁、晉、漢、周和北宋、金（宣宗后）皆以此為陪都。建都時間長達934年，是中國歷史上建都時間最長的城市。
1948年析洛陽縣城區置洛陽市。1949年，洛陽市、洛陽縣并存，均屬洛陽專區。1954年，洛陽市改省轄市，轄第一區、第二區、郊區。1955年，撤銷洛陽縣，其行政區域分別并入洛陽市及孟津、宜陽、偃師3縣；撤銷洛陽市第一區和第二區，合并設立老城區。1956年，設立洛陽市澗西、西工兩區。
1958年，洛陽市改為縣級市，屬洛陽專區。1964年，洛陽市改省轄市，轄澗西、洛北、瀍河回族區、郊區。1971年，孟津縣劃歸洛陽市。1975年，設立洛陽市西工區，以洛北區的部分行政區域為其行政區域。1976年，孟津縣劃歸洛陽地區。
1982年，洛陽市洛北區更名為老城區；設立吉利區，以孟縣吉利公社和濟源縣坡頭公社的馬洞、金鵝、濟澗、南陳、東寨、送莊、郭莊7個大隊的行政區域為其行政區域。1983年，洛陽地區的偃師、孟津、新安3縣劃歸洛陽市。1986年，撤銷洛陽地區，將欒川、嵩縣、汝陽、宜陽、洛寧、伊川六縣劃歸洛陽市，轄9縣6區。1993年，撤銷偃師縣，設立偃師市（縣級）。
1996年，洛陽市面積15208平方千米，人口600萬人，市政府駐西工區，轄西工、澗西、老城、吉利、瀍河回族、郊區6區及孟津、新安、宜陽、嵩、欒川、汝陽、洛寧、伊川8縣，代管偃師1個縣級市。
2000年5月20日，經國務院批準（國函[2000]45號）同意河南省調整洛陽市市轄區行政區劃：一、洛陽市郊區更名為洛龍區。區人民政府駐地由西工區凱旋東路遷至關林鎮。二、對洛陽市市轄區行政區域作如下調整：將原郊區的工農鄉、孫旗屯鄉劃歸澗西區管轄；將原郊區的紅山鄉和洛北鄉的東下池村、西下池村、瞿家屯村、東澗溝村、五冢女村、金谷園村、西小屯村、西工村劃歸西工區管轄；將原郊區的邙山鎮和洛北鄉的新生村、工農村、燒溝村、岳村劃歸老城區管轄；將原郊區的瀍河回族鄉劃歸瀍河回族區管轄；將西工區的安樂街道劃歸洛龍區管轄。調整后，洛龍區轄李樓鄉、古城鄉、石人鄉（實際并未正式成立）、辛店鎮、安樂鎮、龍門鎮、關林鎮、白馬寺鎮和安樂街道。
2000年第五次人口普查，洛陽市常住總人口6227665人；其中：老城區141571人、西工區333461人、瀍河回族區167069人、澗西區455611人、吉利區70593人、洛龍區323375人、孟津縣418065人、新安縣481740人、欒川縣312838人、嵩縣527768人、汝陽縣397833人、宜陽縣650356人、洛寧縣422972人、伊川縣708387人、偃師市816026人。
2005年?，洛陽市政府遷至洛龍區開元大道228號。2005年末，洛陽市轄6個市轄區、8個縣，代管1個縣級市；全市共有34個街道、61個鎮、82個鄉。
2006年1月，將宜陽縣豐李鎮的西霍屯、邢屯、梁屯、王屯、油坊頭、畢溝、侯城、小營等10個村劃歸洛陽市洛龍區古城鄉管轄。2007年5月，將西工區紅山鄉的王灣村劃歸澗西區工農鄉管轄。2008年5月21日，《洛陽市政府關于伊川縣郭寨東草店西草店3建制村劃歸洛龍區管轄的通知》（洛政[2008]64號）：根據《河南省民政廳關于伊川縣郭寨東草店西草店3建制村劃歸洛陽市洛龍區管轄的批復》（豫民行批[2008]5號），經省政府批準，將伊川縣城關鎮郭寨村，彭婆鎮東草店村、西草店村劃歸洛龍區龍門鎮管轄。
2009年12月21日，河南省民政廳批復（豫民行批[2009]46號），經河南省政府批準，將偃師市諸葛鎮整建制劃歸洛陽市洛龍區管轄。2010年3月19日，河南省民政廳批復（豫民行批[2010]8號），經河南省政府批準，同意將偃師市李村鎮整建制劃歸洛陽市洛龍區管轄。2011年5月9日，河南省民政廳批復（豫民行批[2011]35號），經河南省政府批準，同意將偃師市龐村鎮整建制劃歸洛陽市洛龍區管轄。2012年8月17日，河南省民政廳（豫民行批[2012]10號）批復：經河南省政府批準，同意將偃師市佃莊鎮整建制劃歸洛陽市洛龍區管轄；河南省民政廳（豫民行批[2012]11號）批復：經河南省政府批準，同意將偃師市寇店鎮整建制劃歸洛陽市洛龍區管轄。
2013年，將宜陽縣的豐李鎮（16個行政村，157個村民組，3.2萬人，面積30平方千米）劃歸洛陽市洛龍區管轄。2014年7月2日，省民政廳（豫民行批[2014]22號）批復，經省政府批準，同意洛陽市將宜陽縣豐李鎮及所轄豐李村、贠莊、牛屯村、圪瘩村、薛營村、李王屯村、小作村、殷屯村、牛莊村、前窯村、河口村、東軍屯村、西軍屯村、東坡村、東鳴鶴村、西鳴鶴村16個建制村劃歸洛龍區管轄，黃龍廟村、崔村、石門村、流水溝村、山底村、漫流村、南營村、馬窯村、西莊村9個建制村劃歸宜陽縣錦屏鎮管轄。
2014年，孟津縣會盟鎮、麻屯鎮，新安縣磁澗鎮，欒川縣潭頭鎮、三川鎮、陶灣鎮，嵩縣城關鎮、田湖鎮、車村鎮，汝陽縣小店鎮，宜陽縣三鄉鎮，洛寧縣河底鎮，伊川縣鳴皋鎮，偃師市顧縣鎮共14個鎮被列為全國重點鎮。