此地早在周以前為肅慎地；戰國時期屬貉地；漢時屆沙地；后漢、三國時期為扶余奴隸制王國的屬地；晉仍之；后魏、北齊時期屆勿吉地；暗時屬靺鞨黑水部，唐時屬黑水靺鞨；遼時為生女真地；金屬上京會寧府。元時為或赤廳分地，屬合蘭府水達達等路；明時屬于奴兒干都司統轄；清初為呼蘭副都統轄地，乾隆二十七年（1762年）于此地設置崇古爾庫站（今三站鄉駐地）。

光緒三十一年（1905年）置大通縣，治崇古爾庫站（今三站），轄境包括今通河和方正兩縣，隸屬干吉林依蘭府。光緒三十三年（1907年），東北實行行省制，以松花江為吉林、黑龍江兩省的省界，大通縣改隸黑龍江省興東道（綏化府）。宣統元年（1909年），將江南方正泡地方劃出，設置方正縣。民國元年（1912年）6月，裁撤興東道，大通縣由黑龍江省直轄。

民國三年（1914年）將縣治移至岔林河口“縣治城基”（今通河鎮）；4月，因與甘肅省大通縣重名，改名通河縣；6月，改隸綏蘭道。1929年1月1日劃縣北部鳳山鎮置鳳山設治局；同年2月，裁撤綏蘭道，縣、局均由黑龍江省直轄；時為三等縣。1933年10月1日改鳳山設治局為鳳山縣，為丁等縣。偽滿康德元年（1934年）12月1日，兩縣劃歸三江省管轄；1939年6月撤銷鳳山縣，將其并入通河縣。

1945年“九三”抗日戰爭勝利后，劃歸合江省管轄。1946年8月，劃歸松江省管轄。1954年8月，隸屬黑龍江省直轄。1956年3月，劃歸綏化專區管轄。1958年8月，改隸松花江專區。1960年5月，劃歸哈爾濱市管轄。1965年6月，劃歸松花江專區（后改為地區）管轄。1997年1月1日正式劃歸哈爾濱市管轄。

1946年3月15日，本縣下設城區、三站、祥順、清河、樺樹、鳳山、富鄉、濃河8個區；5月31日，將清河、祥順兩個區合并為清祥區；6月6日，將鳳山、樺樹兩區合并為鳳樺區。1947年，改為一區（城區）、二區（樺樹）、三區（富鄉）、四區（濃河）、五區（三站）、六區（祥順）、七區（清河）、八區（鳳山）8個區。1956年并區劃鄉，改為通河、烏鴉泡2個鎮，鳳山、三站、永樂、祥順、清河、南六方、依山、中興、西樂、濃河、樺樹、螞螂河、富鄉、岔林14個鄉。1958年底改設12個公社，下轄136個生產大隊，520個生產隊。

1977年10月25日，東部澇區設立創業公社；將祥順公社的大林子、西六方、東六方、新鄉、新村、南六方等6個大隊劃給創業公社。1979年10月16日，創業公社正式建成。洪太公社轄西勝、洪太、宏濱、解放、張家、西樂、廂房7個生產大隊；濃河公社轄一、二、三、四、五大隊、東風、良種場、民權、東勝、自然、雙鳳、水田、團結、楞場、新勝、勝利16個生產大隊；富鄉公社轄臨江、永勝、富鄉、德勝、民主、紅旗、四站、興旺、德興、畜牧場、新方向12個大隊；岔林公社轄雙河、長興、岔林、林勝、保安、永發、三寶、東升、太和、鏵子山10個大隊；鳳山公社轄船口、萬柳、和平、清茶、鳳陽、鳳山、河西7個大隊；螞螂河公社轄雙勝、四馬架、紅星、金山、寶山、青山、福山、雙龍、螞螂河9個大隊；樺樹公社轄大興，福興、太平、建設、永河、良種場、樺樹、東河、金河9個大隊；鎮郊公社轄火鋸、城發、城東、城西、城鄉、新安、勝利、新民、中興、躍進10個大隊；依山公社轄聯合、柞樹、松江、烏鴉泡、韓鄉、東興、依山、八家子、五四9個大隊；三站公社轄一、二、三、四大隊、老站、新立、興鳳山、興隆崗、民利、洪勝、建興、長勝、永興、三合14個大隊；創業公社轄大林子、南六方、西六方、新鄉、紅衛、創業、奮斗、興旺、光輝、東六方10個大隊；祥順公社轄興隆、祥順、永樂、臺頭、向陽、林場、魏璽、新發、四方泡、新村、新豐11個大隊；清河公社轄漂河、清河、旱田、雙興、新興、愛民、新建、二道河子、大古洞、小古洞、西北河、良種場12個大隊。

1985年，全縣轄通河、清河、烏鴉泡、濃河、鳳山5個鎮和洪太、富鄉、岔林、螞螂河、樺樹、鎮郊、三站、祥順、創業、依山10個鄉，共有143個行政村，221個自然屯。

1992年末，通河縣位于黑龍江省中部，松花江中游北岸。東鄰依蘭縣，南與方正縣、賓縣以江為界，西與木蘭縣毗連，北與慶安縣、鐵力市接壤。全縣總面積5675平方千米，總人口23.5萬人，其中非農業人口10.1萬人；朝鮮、滿、回、蒙古等少數民族占3.2%。轄15個鄉鎮。縣政府駐地通河鎮。？年，撤銷鎮郊鄉。

1996年，通河縣面積5675平方千米，人口23.4萬人。轄5鎮9鄉：通河鎮、烏鴉泡鎮、清河鎮、濃河鎮、鳳山鎮、創業鄉、依山鄉、祥順鄉、三站鄉、螞螂河鄉、樺樹鄉、洪太鄉、富鄉鄉、岔林鄉。縣政府駐通河鎮。

2000年第五次全國人口普查，全縣總人口203515人，其中：通河鎮44116人，烏鴉泡鎮7223人，蒲阿鎮17803人，濃河鎮15535人，鳳山鎮6396人，祥順鄉13113人，三站鄉11431人，富鄉鄉9514人，樺樹鄉8299人，依山鄉7809人，岔林鄉8286人，洪太鄉6402人，創業鄉6452人，螞螂河鄉5536人，清河林業局20269人，興隆林業局10607人，岔林河農場3661人，清河農場1063人。

2002年，鄉、鎮、村合并：撤銷樺樹鄉并入通河鎮，撤銷依山鄉并入烏鴉泡鎮，撤銷洪太鄉并入濃河鎮，撤銷螞螂河鄉并入鳳山鎮，撤銷祥順鄉、創業鄉合并設立祥順鎮，撤銷富鄉鄉、岔林鄉合并設立富林鄉。2003年末，全縣轄6個鎮、2個鄉：通河鎮、烏鴉泡鎮、清河鎮、濃河鎮、鳳山鎮、祥順鎮、三站鄉、富林鄉，共有40個居委會、82個行政村。

2006年，全縣總面積5675平方千米，總人口23萬人，轄6個鎮、2個鄉，82個行政村。