虎林縣，由橫貫縣境中部之七虎林河而得名。七虎林，系滿語“稀忽林”之轉(zhuǎn)音，為“沙鷗”之意。清代，屬寧古塔副都統(tǒng)轄區(qū)。清末放荒開墾，1902年（光緒二十八年），在呢嗎口（今虎頭鎮(zhèn)，與俄羅斯境內(nèi)呢嗎河口即今伊曼河口相對）設(shè)招墾分局。呢嗎，滿語“山羊”之意。1909年8月24日（宣統(tǒng)元年七月初九日），吉林巡撫奏準于“密山府屬呢嗎口地方”，設(shè)置呢嗎廳。翌年4月18日（宣統(tǒng)二年三月初九日），吉林巡撫奏稱：“呢嗎口本因俄國境內(nèi)之呢嗎河西流，匯于該處，故有斯名。今設(shè)同知一缺，若仍循舊時稱謂，深恐日久沿訛，國界未易分晰。查該處本在七虎林河之南，擬請定為虎林廳，以符名實，而垂久遠。”同年5月（農(nóng)歷四月）批準，將呢嗎廳改為虎林廳，隸屬吉林行省東北路道。
1913年（民國二年）3月，改為虎林縣，仍駐呢嗎口（稱虎林縣城）。1914年6月，隸屬依蘭道。1929年2月，撤銷道區(qū)，由吉林省直轄。時為三等縣，全縣2.59萬人。東北淪陷后，初隸吉林省，1934年12月劃歸濱江省管轄。1937年7月，改歸新設(shè)之牡丹江省。1938年8月5日，偽虎林縣公署移駐安樂鎮(zhèn)（原名東街基，又稱黑嘴子），并將安樂鎮(zhèn)改為“虎林”（今虎林鎮(zhèn)），原縣公署駐地改為“虎頭”。1939年6月，劃歸新設(shè)之東安省管轄。1943年10月，隸屬東滿總省，1945年5月改隸東滿省。1945年“九三”抗日戰(zhàn)爭勝利后，虎林縣劃歸合江省管轄。1946年6月，劃歸新設(shè)立的東安專區(qū)管轄。1947年10月，改隸牡丹江省。1948年7月，復(fù)由合江省直轄。1949年5月，改隸松江省管轄。1954年8月，松、黑兩省合并，由黑龍江省直轄。1956年3月，劃歸新設(shè)立的牡丹江專區(qū)管轄。
50年代后期，在虎林縣與饒河縣境內(nèi)，由人民解放軍廣大轉(zhuǎn)業(yè)官兵建立了一大批大型國營農(nóng)場。但因農(nóng)墾企業(yè)屬農(nóng)墾局領(lǐng)導(dǎo)，而政權(quán)工作則屬于兩個縣，有許多不便之處。為試辦“政權(quán)和經(jīng)濟組織合一的單位”，經(jīng)黑龍江省人民委員會呈請，國務(wù)院于1960年1月7日批準，將虎林縣與饒河縣合并設(shè)置虎饒縣，縣人民委員會駐虎林鎮(zhèn)，隸屬牡丹江專區(qū)�；埧h之名稱，是在兩縣合并時，因虎林、饒河兩縣歷史較久，“過去均系抗聯(lián)活動地區(qū)，為了表明該兩縣的原意，把兩縣各取一字”，稱虎饒縣。1963年2月1日（同一出處另有1962年11月之說），改由合江專區(qū)管轄。是時，虎饒縣共轄5個區(qū)、14個公社（鄉(xiāng)、鎮(zhèn)）、32個農(nóng)場鄉(xiāng)，總面積2.1萬余平方千米，人口25.8萬人。其后，根據(jù)黑龍江省人民委員會的請示，1964年6月5日，國務(wù)院決定，撤銷虎饒縣，恢復(fù)虎林縣和饒河縣，均歸合江專區(qū)管轄。同年8月6日，省人民委員會下發(fā)通知，責(zé)成有關(guān)專署和縣人民委員會做好恢復(fù)縣的籌備工作。同年10月10日，虎林、饒河兩縣正式分開�；⒘挚h址設(shè)于虎林鎮(zhèn)。1970年4月，劃歸牡丹江地區(qū)管轄。1983年9月，撤銷牡丹江地區(qū)，改由牡丹江市領(lǐng)導(dǎo)。
1992年末，虎林縣位于黑龍江省東南部，烏蘇里江上游西岸。縣境北抵饒河縣，南達密山市，西鄰寶清縣，東隔烏蘇里江、松阿察河與俄羅斯隔水相望。邊境線長318千米，是黑龍江省邊境縣之一。全縣總面積9330平方千米�？�?cè)丝?8萬人，其中非農(nóng)業(yè)人口14萬人，占總?cè)丝诘?0%。在總?cè)丝谥校h屬鄉(xiāng)鎮(zhèn)人口13.7萬余人，國營農(nóng)場系統(tǒng)9萬余人，森工系統(tǒng)5.1萬余人；漢族人口26.8萬余人，滿、朝鮮、蒙古、回、苗、布依等少數(shù)民族人口1.1萬余人。轄17個鄉(xiāng)鎮(zhèn)�？h政府駐地虎林鎮(zhèn)。（以上摘自《黑龍江省志·地名錄》，有改動）
1993年6月14日，國務(wù)院批準將牡丹江市的虎林縣劃歸雞西市管轄。1996年10月11日，民政部批復(fù)（民行批[1996]77號）撤銷虎林縣，設(shè)立虎林市。全市轄5個鎮(zhèn)、9個鄉(xiāng)：虎林鎮(zhèn)、東方紅鎮(zhèn)、迎春鎮(zhèn)、虎頭鎮(zhèn)、楊崗鎮(zhèn)、太和鄉(xiāng)、義和鄉(xiāng)、東風(fēng)鄉(xiāng)、忠誠鄉(xiāng)、小木河鄉(xiāng)、阿北鄉(xiāng)、偉光鄉(xiāng)、新樂鄉(xiāng)、寶東鄉(xiāng)。
2000年5月10日，撤銷寶東鄉(xiāng)，設(shè)置寶東鎮(zhèn)。調(diào)整后，虎林市轄7個鎮(zhèn)、7個鄉(xiāng)。
2000年第五次人口普查，虎林市總?cè)丝?11509人，其中：虎林鎮(zhèn)57226人，東方紅鎮(zhèn)4114人，迎春鎮(zhèn)7800人，虎頭鎮(zhèn)11032人，東風(fēng)鎮(zhèn)7912人，楊崗鎮(zhèn)14104人，寶東鎮(zhèn)7126人，太和鄉(xiāng)5892人，義和鄉(xiāng)9443人，新樂鄉(xiāng)9195人，偉光鄉(xiāng)7418人，忠誠鄉(xiāng)2909人，小木河鄉(xiāng)4938人，阿北鄉(xiāng)4992人，云山農(nóng)場12809人，八五〇農(nóng)場17934人，八五六農(nóng)場22916人，八五八農(nóng)場16001人，慶豐農(nóng)場14393人，八五四農(nóng)場23162人，迎春林業(yè)局13042人，東方紅林業(yè)局37151人。
2001年2月27目，撤銷義和鄉(xiāng)并入虎林鎮(zhèn)，撤銷太和鄉(xiāng)并入寶東鎮(zhèn)。同年，小木河鄉(xiāng)更名為珍寶島鄉(xiāng)。2001年末，全市設(shè)虎林、楊崗、寶東、東風(fēng)、虎頭、東方紅、迎春7個鎮(zhèn)和偉光、新樂、忠誠、阿北、珍寶島5個鄉(xiāng)，89個行政村，196個自然屯，3個街道辦事處，33個居委會。區(qū)域內(nèi)駐有2個省森工林業(yè)局和6個國營農(nóng)場。
2005年，虎林市轄7個鎮(zhèn)、5個鄉(xiāng)：虎林鎮(zhèn)、東方紅鎮(zhèn)、迎春鎮(zhèn)、虎頭鎮(zhèn)、楊崗鎮(zhèn)、東風(fēng)鎮(zhèn)、寶東鎮(zhèn)、新樂鄉(xiāng)、偉光鄉(xiāng)、忠誠鄉(xiāng)、珍寶島鄉(xiāng)、阿北鄉(xiāng)。市境內(nèi)有：東方紅林業(yè)局、迎春林業(yè)局、八五零農(nóng)場、八五四農(nóng)場、八五六農(nóng)場、八五八農(nóng)場、慶豐農(nóng)場、云山農(nóng)場。
2005年末，全市總戶籍人口294302人，比上年減少3419人。其中，市屬157116人，農(nóng)場89431人，森工47755人。在總?cè)丝谥�，城�?zhèn)人口190313人，占總?cè)丝诒戎貫?4.7%；鄉(xiāng)村人口107408人，比重為35.3%。
2007年4月17日，黑龍江省民政廳（黑民區(qū)[2007]36號）批準：撤銷虎林市所轄的忠誠鄉(xiāng)和東風(fēng)鎮(zhèn)，將兩鄉(xiāng)鎮(zhèn)行政區(qū)域合并設(shè)立東誠鎮(zhèn)。東誠鎮(zhèn)人民政府駐忠信村。調(diào)整后，全市轄7個鎮(zhèn)、4個鄉(xiāng)：虎林鎮(zhèn)、東方紅鎮(zhèn)、迎春鎮(zhèn)、虎頭鎮(zhèn)、楊崗鎮(zhèn)、東誠鎮(zhèn)、寶東鎮(zhèn)、新樂鄉(xiāng)、偉光鄉(xiāng)、珍寶島鄉(xiāng)、阿北鄉(xiāng)。