海倫原名（1）蘇爾沁咀子（又稱索倫箐嘴子），（2）通肯。通肯名稱的由來。據《滿洲地名考》記載：此地開拓時所管轄的地域很廣，便設置了副都統管理此地，由于通肯河旋繞其境，故名。“通肯”是滿語，其意，一說為“鼓”之意，另一種解釋為“散”之意。海倫地名是於光緒末年裁通肯副都統，設置直隸廳時所啟用的名稱，其來源，是以城址位于海倫河附近命名。海倫，為“開凌”之音轉，滿語“水獺”之意。因海倫河中盛產水獺，故名。
海倫一帶很早以前本無人居住，故清以前的歷史沿革不詳，至前清時曾為皇家圍場地，禁止百姓采樵游獵，而只有索倫族人可以進入禁地，他們以捕獵為生，水草為居，沒有固定的房舍。在此期間，綏化已設通判理旗民事，而此地仍為圍場。土人稱此地為索倫箐嘴子。先后為呼蘭城守尉、呼蘭副都統轄地。1885年（光緒十一年），設置綏化廳后，歸綏化廳管轄。由于此地草木豐茂，土質青腴，富於農作，所以光緒中葉，黑龍江將軍屢次奏請放荒地，但都被駁斥。不但不能放荒，反而更加嚴厲限制墾荒。
1899年5月4日（光緒二十五年三月二十五日），清廷批準于海倫河北增設通肯副都統，選“棒槌營”（采參人住的窩棚，今海倫鎮城北）修筑通肯城【一說，光緒二十三年始設副部統兼辯墾務，大概因通肯河旋繞其境而命名為通肯副都統】。1905年1月29日（光緒三十年十二月二十四日），奏準設置海倫直隸廳。1906年2月15日（光緒三十二年正月二十二日），裁撤通肯副都統。同年8月11日（農歷六月二十二日），海倫直隸廳署移駐原通肯副都統府第辦公。1908年8月5日（光緒三十四年七月初九日），將海倫直隸廳改設海倫府，駐通肯城。隸屬黑龍江行省，領青岡、拜泉2縣。
中華民國成立后，根據黑龍江省都督府1913年1月23日令，將海倫府改為海倫縣。初由黑龍江省直轄，1914年6月隸屬綏蘭道。1915年5月，將通北稽墾局轄區劃出設置通北設治局。1916年春（一說為1917年1月），將海倫縣南部地區劃出設置望奎設治局。1929年2月，廢道，由黑龍江省直轄，時為一等縣。東北淪陷后，初隸黑龍江省，1934年12月劃歸濱江省管轄。1939年6月，劃歸新設之北安省管轄。1945年“九三”抗日戰爭勝利后，劃歸黑龍江省管轄。1946年10月，以海倫縣西南部地區與拜泉縣劃出的部分區域合并設置通肯縣。
1947年2月至9月，海倫縣隸屬黑嫩聯合省第一專區，黑嫩聯合省分設后，仍由黑龍江省管轄。1948年9月，撤銷通肯縣，原屬海倫縣的行政區域仍劃回海倫縣。1954年8月，松、黑兩省合并后，由黑龍江省直轄。1956年3月，將海倫縣劃歸綏化專區管轄。1958年8月改由松花江專區管轄。1965年6月屬綏化專區。1989年12月23日，國務院批準，撤銷海倫縣，設立海倫市（縣級），以海倫縣的行政區域為海倫市的行政區域，仍隸綏化地區。1990年1月11日，正式撤縣設市。
1985年，海倫縣轄7個鎮、22個鄉，10個街道，360個村，1667個村民小組，1255個自然屯，6個農牧場，6個林場。海倫鎮為縣政府駐地。全縣總戶數為164418戶，人口為799838人。境內民族99.5%是漢族，還有朝鮮族、回族、滿族、蒙古族、土家族、達翰爾族、鄂倫春族、錫伯族、黎族、彝族等。
1992年末，海倫市位于黑龍江省中部，是由小興安嶺山地向松嫩平原的過渡地帶。東與綏棱縣為鄰，南與綏化市、望奎縣接壤，西以通肯河與青岡、明水、拜泉縣分界，北與北安市毗連。總面積4551平方千米。總人口78.67萬人，其中非農業人口13.7萬人，占17.4%；滿、回、朝鮮、蒙古等少數民族人口占3.3%。轄7個鎮、22個鄉：海倫鎮、海北鎮、倫河鎮、東風鎮、共合鎮、海興鎮、祥富鎮、海南鄉、樂業鄉、南興鄉、東方紅鄉、護林鄉、雙錄鄉、扎音河鄉、愛國鄉、長發鄉、向榮鄉、愛民鄉、聯發鄉、永和鄉，等。市政府駐海倫鎮。
2000年第五次人口普查，海倫市總人口720008人，其中：海倫鎮108787人，海北鎮27823人，倫河鎮31979人，東風鎮15669人，祥富鎮25790人，海興鎮28022人，共合鎮29688人，建城鄉7953人，同心鄉14883人，前進鄉16600人，向榮鄉24450人，長發鄉17978人，東方紅鄉19026人，護林鄉11957人，南興鄉11971人，海南鄉20316人，共榮鄉25553人，樂業鄉17279人，福民鄉20811人，豐山鄉24449人，永富鄉21694人，新興鄉15763人，百祥鄉16882人，聯發鄉21080人，永和鄉29241人，愛民鄉23754人，愛國鄉20049人，扎音河鄉24057人，雙錄鄉24328人，國有林場3477人，紅光農場8842人，海倫農場9857人。
海倫市現轄7個鎮、16個鄉：海倫鎮、東風鎮、祥富鎮、海興鎮、倫河鎮、共合鎮、海北鎮、前進鄉、向榮鄉、長發鄉、東林鄉、海南鄉、樂業鄉、共榮鄉、福民鄉、豐山鄉、永富鄉、百祥鄉、聯發鄉、永合鄉、愛民鄉、扎音河鄉、雙錄鄉。共362個行政村，1753個村民小組。