海林市原名海林縣，系由新海、五林二縣合并時，各取原縣名稱的后一個字而得名。清代，屬寧古塔副都統轄區。清末民初，先后隸屬寧安府和寧安縣管轄。1945年“九三”抗日戰爭勝利后，1946年8月15日，將寧安縣北部新安鎮、海林、橫道河子、山市等地區劃出，設置新海縣，縣政府駐海林。初隸綏寧省，后改隸牡丹江專區、牡丹江省，再改隸松江省。1948年10月4日，松江省政府決定，將五林縣與新海縣合并為海林縣，縣政府駐牡丹江市內，由松江省直轄。1954年8月，松、黑兩省合并后，由黑龍江省直轄。

1956年3月6日，國務院決定，撤銷海林縣，將原海林縣所屬區域分別劃歸寧安縣、林口縣和牡丹江市。1962年10月20日，國務院決定，恢復海林縣，將原海林縣劃給寧安縣的海林、橫道河子、長汀、海南、石河、新安、舊街7個鄉鎮和原海林縣劃給林口縣的柴河、二道河子、三道河子3個鄉鎮劃為海林縣的行政區域。縣人民委員會駐海林鎮，隸屬牡丹江專區管轄。1983年9月3日，牡丹江地區撤銷后，劃歸牡丹江市領導。1992年7月28日，國務院批準，撤銷海林縣，設立海林市（縣級）。由牡丹江市代管。

1992年末，海林市位于黑龍江省東南部，張廣才嶺主脈東側。是黑龍江省主要林業基地之一。市境西以張廣才嶺主脈與五常縣、尚志市分界，北與方正縣、林口縣毗連，東與林口縣、牡丹江市接壤，南與寧安縣為鄰，西南與吉林省敦化市以分水嶺為界。全市總面積9570平方千米。總人口44.6萬人，其中非農業人口23.6萬人，占總人口的52.9%；滿、朝鮮、回族等少數民族人口3.9萬人，占總人口的12.2%。轄7鎮、5鄉。市政府駐地海林鎮。（以上摘自《黑龍江省志·地名錄》，有改動）

1996年，海林市面積9877.8平方千米，人口約43.5萬人。轄7鎮、5鄉：海林鎮、長汀鎮、柴河鎮、橫道河子鎮、山市鎮、二道河子鎮、新安朝鮮族鎮、舊街鄉、石河鄉、新合鄉、三道河子鄉、海南朝鮮族鄉。市政府駐海林鎮。

2000年第五次人口普查，海林市總人口435677人，其中：海林鎮103511人，長汀鎮16118人，橫道河子鎮18980人，山市鎮19932人，柴河鎮26281人，二道河鎮14285人，新安朝鮮族鎮18909人，三道河子鎮10666人，舊街鄉16424人，石河鄉12954人，新合鄉27767人，海南朝鮮族鄉18792人，海林農場7742人，山市種奶牛場6868人，大海林林業局43479人，海林林業局17873人，柴河林業局55096人。

2001年鄉鎮區域化調整，舊街鄉合并到長汀鎮。

2005年，海林市轄8個鎮、1個鄉：海林鎮、長汀鎮、橫道鎮、山市鎮、柴河鎮、二道鎮、新安朝鮮族鎮、三道鎮、海南朝鮮族鄉。境內還有大海林林業局、海林林業局、柴河林業局等。

2009年，《黑龍江省民政廳關于調整牡丹江市部分行政區劃的批復》（黑民區[2009]121號）：同意將海林市所轄的海南朝鮮族鄉整建制劃歸牡丹江市西安區管轄（2010年5月19日正式實施）。

　　2005年，海林市轄8個鎮、1個鄉：海林鎮、長汀鎮、橫道鎮、山市鎮、柴河鎮、二道鎮、新安朝鮮族鎮、三道鎮、海南朝鮮族鄉。境內還有大海林林業局、海林林業局、柴河林業局等。（根據《牡丹江市2005年代碼》整理）
　　海林鎮（231083100）　轄8個社區、32個村委會：新興社區、子榮社區、英雄社區、海浪社區、林海社區、方興社區、廣場社區、團結社區、模范村、新海村、光榮村、共和村、蔬菜村、江頭村、富強村、秦家村、永安村、泡子村、林山村、東德家村、斗銀村、新民村、紅光村、三合村、安樂村、馬北村、大石頭村、永豐村、新合村、平和村、五星村、江北村、石河村、石東村、文明村、大嶺村、西德家村、密南村、廟山村、盧家村。
　　長汀鎮（231083101）　轄2個社區、18個村委會：長青社區、長興社區、雙橋村、火龍溝村、平安村、河北村、七山村、猴石村、萬丈村、馬場村、雙豐村、哈達村、楊林村、張明村、古塔村、寧古村、南溝村、卜家村、滿城村、古城村。2個林場：紅海林林場、火龍溝林場。
　　橫道鎮（231083102）　轄2個社區、6個村委會：佛手社區、老街社區、二十二村、順橋村、七里地村、正南村、道林村、柳樹村。
　　山市鎮（231083103）　轄1個社區、12個村委會：山市社區、東街村、西街村、道南村、東光村、二洼村、長勝村、洋草村、錦山村、奇峰村、勝利村、新興村、青嶺子村。
　　柴河鎮（231083104）　轄3個社區、10個村委會：友誼社區、光明社區、江濱社區、長石村、柴河村、佛塔密村、東風村、臨江村、頭道河子村、北站村、群力村、黑牛背村、陽光村。
　　二道鎮（231083105）　轄1個社區、9個村委會：二道社區、西沙村、東沙村、二站村、三站村、向日村、老家村、北寧村、永興村、釣魚臺村。
　　新安朝鮮族鎮（231083106）　轄1個社區、17個村委會：新安社區、和平村、永樂村、再興村、西安村、中和村、三家子村、共濟村、密江村、山咀子村、東和村、新安村、復興村、嶺后村、北崴子村、北溝村、友誼村、小三家子村。
　　三道鎮（231083107）　轄1個社區、8個村委會：三道社區、邊安村、振興村、東升村、興家村、雙興村、木蘭村、春光村、工農村。還有：寶馬樁林場、四道林場、三道經營所、五道經營所。
　　海南朝鮮族鄉（231083201）　轄11個村委會：中興村、紅星村、南拉古村、山河村、沙虎村、河夾村、紅旗村、拉南村、河南村、北拉古村、石頭溝村。
　　牡林工程公司街道（231083400）　轄1個社區：新華社區。
　　柴河林機廠街道（231083401）　轄1個社區：林機社區。
　　大海林林業局（231083402）　轄8個社區、21個林場：林北社區、嶺上社區、塔西社區、林園社區、塔東社區、林南社區、青年樓社區、東川社區、海源林場、海浪林場、前進林場、雙峰林場、永安林場、楊木溝林場、太平溝林場、柳河林場、七峰林場、興農林場、青平林場、梨樹溝林場、二浪河林場、西南岔林場、新林林場、新林村林場、青云山林場、紅旗林場、紅星林場、東方林場、紅巖林場。
　　海林林業局（231083403）　轄3個社區、14個林場：北山社區、林苑社區、興林社區、三十五林場、三部落林場、夾皮溝林場、五十八林場、二十二林場、大石溝林場、橫道林場、治山林場、道林林場、青嶺子林場、山市林場、奮斗林場、密江林場、石河林場。
　　柴河林業局（231083404）　轄10個社區、22個林場：鐵西路社區、鐵東路社區、希望路社區、康健街社區、團結路社區、橋西街社區、曙光街社區、南崗路社區、繁榮街社區、夕照街社區、東風林場、晨光林場、樺木林場、大青林場、三塊石林場、雙橋街道、板橋子林場、臨江林場、蓮花林場、向日林場、秋皮溝林場、細林河林場、柳毛河林場、紅光林場、紅星林場、衛星林場、新興林場、宏聲林場、二道林場、群力林場、黑牛背林場、頭道林場。還有：柴林公安局、公路處夾皮溝。
　　山市種奶牛場（231083580）　轄：場部、一隊、二隊、三隊、四隊、五隊、八隊、九隊。