因有山如馬鞍得名。洪武年間置鞍山驛堡，后因為鐵礦發展為城市。戰國時今鞍山市境域屬于燕國遼東郡。秦屬于遼東郡。西漢屬于幽州遼東郡；東漢屬遼東郡和遼東屬國。三國和西晉屬幽州遼東郡襄平縣、新昌縣、遼隊縣、安市縣、昌黎郡昌黎縣。東晉·十六國時先后隸屬于前燕、前秦、后燕遼東郡。其后一度為高句麗所割據，今臺安縣部分境域則為北燕所管轄。
南北朝北魏，今鞍山市境域大部分為高句麗割據，今臺安境域隸屬北魏營州建德郡廣都縣（今北鎮市）。隋代今鞍山市城區和海城市境域及臺安縣部分境域為高句麗所割據。今臺安縣境域遼河以西部分為隋朝直接管轄，屬燕郡懷遠鎮。唐總章元年（668年）后分屬河北道安東都府遼城州都督府、安市州和河北道燕州遼兩縣，巫閭守捉城。遼屬東京道遼陽府。金屬東京路、北京路、易蘇館路。
元代今鞍山市城區及海城市境域隸屬于遼陽路遼陽縣（今遼陽市），今臺安縣境域隸屬于廣寧府路望平縣，岫巖滿族自治縣隸屬蓋州路。明屬遼東郡指揮使司遼中衛、海州衛、廣寧衛、蓋州衛。清屬奉天府遼陽州、海城縣、錦州府鎮安縣和蓋平縣、奉天行省東邊道。民國時期今鞍山市城區境域隸屬遼陽縣、海城縣。明代設鞍山驛，清代設鞍山驛鋪。
今鞍山城區境域在置市之前為一些古城堡和自然村屯，在行政上大部分屬遼陽縣管轄。1916年，日本侵略者為掠奪鞍山的鋼鐵資源，以欺詐手段在鞍山“收買工廠用地”，次年建成第一座煉鐵高爐，1918年成立“鞍山制鐵所”。1937年12月1日，日本侵略者將遼陽縣第六區（區址為今八卦溝）所轄南、北沙河，前、后立山等8個村屯及第七區所轄柳西屯、八家子、南大路、北大路等5個村屯，共13個村屯，同日本侵略者在鞍山、立山、千山火車站侵占的“滿鐵附屬地”合并，成立鞍山市，隸屬偽奉天省管轄。1939年、1940年兩次擴大市區面積，到1940年6月，市區面積已達150.8平方千米，人口為20.7萬人。
1945年抗日戰爭勝利后，鞍山市曾先后隸屬于安東省、遼南一專署、遼寧省管轄。1949年，鞍山市隸屬東北人民政府（1952年11月15日改為東北行政委員會），1953年3月12日為中央直轄市。海城縣、岫巖縣隸屬遼東省政府，臺安縣隸屬遼西省政府。1954年8月22日，中央人民政府決定，鞍山市為遼寧省省轄市。海城縣、臺安縣、岫巖縣屬遼寧省。
1959年1月5日，經國務院批準，鞍山市管轄遼陽市和海城縣；同時撤銷遼陽縣建制，并入遼陽市。臺安縣為沈陽市所轄。岫巖縣隸屬安東市（1965年改名丹東市）。1961年4月29日，恢復遼陽縣建制，遼陽市、縣分置，均隸屬鞍山市。1965年12月16日，遼陽縣、海城縣劃歸遼寧省遼南專區管轄。1968年12月26日，撤銷遼南專區，海城縣劃歸營口市管轄。
1973年1月1日，國務院批準鞍山市管轄海城縣。1975年臺安縣劃歸鞍山市領導。1983年12月20日，鞍山市郊區更名為舊堡區。1985年1月17日，國務院決定，撤銷海城縣建立海城市（縣級市）。1976年1月1日，國務院批準，臺安縣由盤錦墾區改為鞍山市管轄。1985年1月17日，國務院（國函[1985]9號）批準撤銷岫巖縣，成立岫巖滿族自治縣（時屬丹東市管轄）；國務院（國函[1985]10號）批準：撤銷海城縣，設立海城市（縣級）。1992年1月23日，民政部（民行批[1992]9號）批準：將原由丹東市管轄的岫巖滿族自治縣劃歸鞍山市管轄（1991年12月16日正式實施）。1996年4月19日，民政部（民行批[1996]25號）批準：將鞍山市舊堡區更名為千山區。
1996年，鞍山市面積9251平方千米，人口336.2萬人，轄鐵東區、鐵西區、立山區、千山區及臺安縣、岫巖滿族自治縣，代管 海城市。市政府駐鐵東區。
1999年，遼寧省政府（遼政[1999]30號）批準：撤銷龍潭鄉、前營子多、石灰窯鄉、湯溝鄉，設立龍潭鎮、前營子鎮、石灰窯鎮、湯溝鎮。調整后，岫巖滿族自治縣轄16個鎮、8個鄉。
2000年第五次全國人口普查，鞍山市總人口3584039人。其中：鐵東區452872人、鐵西區311630人、立山區425562人、千山區366221人、臺安縣354706人、岫巖縣491918人、海城市1181130人。
從2001年開始，全市由原來的77個鄉鎮合并為65個。其中，撤銷寧遠鎮、大陽氣鎮，合并設立寧遠鎮；將沙河鎮判甲爐村劃入千山區齊大山鎮；撤銷新華鎮、富家鎮，合并設立富家鎮；撤銷興隆鎮、雅河鄉、岫巖鎮，合并設立岫巖鎮；撤銷騰鰲鎮、新臺子鎮、東四方臺鎮，合并設立騰鰲鎮；撤銷孤山滿族鎮，設立孤山鎮。同時，鞍山市城區進行了重大的區劃調整，千山區的沙河鎮劃歸立山區，千山區的營城子村、后三家峪村和高官嶺村劃歸鐵東區，成立新興街道辦事處。
2002年3月4日，遼寧省政府（遼政[2002]61號）批準：調整鞍山市部分行政區劃： 一、市轄區： 1.將千山區沙河鎮判甲爐村劃歸齊大山鎮；將沙河鎮其余的11個村、1個社區居委會劃歸立山區，保留沙河鎮建制。2.將千山區的沙河街道辦事處劃歸立山區。3.將千山區大孤山鎮的營城子村、高官嶺村和東鞍山鎮的后三家峪村劃入鐵東區，成立新興街道辦事處。4.撤銷千山區寧遠鎮、大陽氣鎮，合并設立寧遠鎮；撤銷宋三臺子朝鮮族滿族鎮，設立宋三臺子鎮。5.將鞍山高新技術產業開發區東區區域由千山區劃歸鐵東區，將鞍山高新技術產業開發區西區區域由千山區劃歸鐵西區。 二、臺安縣：1.撤銷臺安鎮、城郊鄉，合并設立臺安鎮。2.撤銷黃沙坨鎮、大張鎮，合并設立黃沙坨鎮。3.撤銷富家鎮、新華鎮，合并設立富家鎮。4.撤銷桓洞鎮、洪家鄉，合并設立桓洞鎮。5.撤銷桑林鎮、西平鄉，合并設立桑林鎮。 三、岫巖滿族自治縣：撤銷興隆鎮、雅河鄉、岫巖鎮，合并設立岫巖鎮。 四、海城市：撤銷騰鰲鎮、新臺子鎮、東四方臺鎮，合并設立騰鰲鎮；撤銷王石鎮、什司縣鎮，合并設立王石鎮；撤銷東四鎮、驗軍街道辦事處，合并設立東四街道辦事處；撤銷孤山滿族鎮，設立孤山鎮。
2003年底，鞍山市將1158個行政村調整為849個，減少309個村。其中二合一的265個村、三合一的32個村、四合一的4個村。
2004年，遼寧省政府（遼政[2004]219號）批準：將千山區宋三臺子鎮更名為達道灣鎮，鎮政府駐地由宋三村遷移至達道灣。
2004年底，鞍山市總面積9252.4256平方千米，人口346.9萬人，比上年末增加1.9萬人。其中非農業人口175.7萬人，占總人口比重的50.6%。農業人口171.2萬人，占總人口49.4%。其中市區624平方千米（鐵東區l3.8平方千米，鐵西區13.6平千米，立山區24.8平方千米，千山區550.4平方千米，鞍鋼廠區21.4平方千米），人口145.5萬人，占總人口比重的42.2%。海城市2732.083平方千米，臺安縣1393.9916平方千米，岫巖滿族自治縣4502.057平方千米。縣（市、區）共轄58個鎮、7個鄉、39個街道，849個行政村、297個社區。