鐵嶺一名源于鐵嶺衛。據《高句麗·辛禍傳》載:“（明）洪武二十一年三月，大明立鐵嶺衛”。又據《明實錄》載，“（洪武）二十六年四月遷衛于古銀州（今鐵嶺市）地，仍為鐵嶺衛。”后來一直沿襲“鐵嶺”其名。唐開元元年（713年），渤海大氏取越喜地改富州（今鐵嶺城）。917年，遼太祖在此地冶煉銀子，故將富州改為銀州，遼朝時期境域大部分屬東京道遼陽府。金朝時期，境域南部屬東京路咸平府，西部屬北京路，東北部屬上京路會寧府。

元朝時期，境域西部屬中書省會昌路，其余屬開原路咸平府。明朝時期，在銀州設鐵嶺衛，明洪武二十六年（1393）徙鐵嶺衛于沈陽、開原間古銀州之地，境域南部屬遼東都指揮使司鐵嶺衛，西部屬遼河套扶余衛，北部屬三萬衛。清朝時期，清初順治元年（1644）清軍入關，先后在東北設奉天、吉林、黑龍江將軍，于奉天設奉天府。康熙三年（1664）廢衛設縣，鐵嶺、開原縣屬奉天府轄地，時鐵嶺境域東北部（西豐）被封禁為大圍場，西部、北部為內蒙古科爾沁部。

清朝的后期境域內建置比較多，光緒三年（1877）改昌圖廳為昌圖府，光緒三十三年（1907）廢奉天將軍，設置奉天巡府，改為行省，鐵嶺境域屬東三省總督。清朝末年，境域內鐵嶺、開原、昌圖、康平、西豐五縣屬奉天省。民國2年（1913）實行省縣制，境域南部屬奉天省遼沈道，西部、北部為洮昌道。民國17年（1928）屬遼寧省。民國21年（1932）偽滿改遼寧省為奉天省。

1949年屬遼西省，1954年劃入遼寧省。1955年12月（1956年2月8日）設鐵嶺專區，專署駐鐵嶺縣。轄鐵嶺（駐銀州鎮）、昌圖、西豐、開原、清原、新賓、法庫、康平等8縣。1958年（1959年1月5日）撤銷鐵嶺專區，原鐵嶺專區所屬鐵嶺、昌圖、西豐、開原、法庫、康平等6縣劃歸沈陽市領導，清原、新賓2縣劃歸撫順市領導。1964年2月12日設沈陽專區，專署駐沈陽市；原屬沈陽市領導的法庫、康平、鐵嶺、遼中、昌圖、新民、西豐、開原、臺安等9縣和撫順市領導的清原、新賓2縣劃歸沈陽專區。1966年7月，專公署遷入鐵嶺縣銀州鎮

1970年7月25日，沈陽專區改稱沈陽地區，地區駐鐵嶺縣，轄鐵嶺（駐銀州鎮）、開原、昌圖、康平、法庫、西豐等6縣；將新民、遼中、臺安3縣劃歸沈陽市領導，新賓、清原2縣劃歸撫順市領導。1979年8月30日，國務院批準析鐵嶺縣銀州鎮、龍山鄉、汎河鄉、平頂堡鄉部分村成立縣級鐵嶺市，屬鐵嶺地區領導，鐵嶺地區駐鐵嶺市。1982年經國務院批準在鐵法礦區的基礎上，分出鐵嶺縣的大青、曉明、蔡牛鄉和法庫和法庫縣的大明鎮、調兵山鎮等部分鄉、鎮、村，設立鐵法市。

？年，鐵嶺地區轄鐵嶺、鐵法二市及鐵嶺、西豐、開原、昌圖、康平、法庫六縣。分轄14個鎮、7個農場、134個公社、51個街道。面積17393平方千米。地區行署駐鐵嶺市。

1984年6月30日經國務院批準（國函[1984]104號）：（1）鐵嶺市升為省轄市，設立銀州、鐵法和清河三個區。以原鐵嶺市的其行政區域設立銀州區。撤銷鐵法市，將鐵法市的行政區域以及法庫縣的城子、太平山、顧家房三個村劃歸鐵嶺市，設立鐵法區。將開原縣的清河鎮、清河鄉劃歸鐵嶺市，設立清河區。（2）撤銷鐵嶺地區，將鐵嶺、開原、西豐、昌圖、康平、法庫6縣劃歸鐵嶺市管轄。1984年9月20日，省轄鐵嶺市正式成立。【東經122゜44′-125゜07′、北緯41゜59′-43゜ 29′。東西長190千米，南北寬120千米，總面積17469.3平方千米】

1986年9月l2日，撤銷鐵法區，恢復縣級鐵法市。1992年經遼寧省政府批準，以原鐵嶺種畜場為基礎設立鐵嶺經濟開發區（非正式行政區）。1993年1月1日，法庫、康平2縣劃歸沈陽市。1996年，鐵嶺市面積12878平方千米，人口290.3萬人（中國政區大典數據），轄銀州、清河2區和鐵嶺、昌圖、西豐3縣，并代管鐵法、開原2市。2000年第五次全國人口普查，鐵嶺市總人口2823220人。其中：銀州區341179人、清河區92620人、鐵嶺縣351194人、西豐縣309416人、昌圖縣959439人、鐵法市239636人、開原市529736人。

2001年/2002年，轄銀州、清河2區，鐵法、開原2市（縣級），鐵嶺、西豐、昌圖3縣，13個街道、51個鎮、25鄉、13個民族鄉，170個社區、1479個行政村。面積12856.51平方千米，人口292.59萬人。市政府駐銀州區市府路。

2002年2月20日，民政部（民函[2002]21號）批準將鐵法市更名為調兵山市（2002年9月1日正式更名）。