因境內(nèi)根河得名。根河是蒙古語“葛根高勒”的諧音，意為“清澈透明的河”。清代為索倫部（當(dāng)時對達(dá)斡爾、鄂溫克、鄂倫春族的統(tǒng)稱）的狩獵地。17世紀(jì)，鄂溫克族的一部，從貝加爾湖附近列拿河畔遷來，以飼養(yǎng)馴鹿和狩獵為生，1921年由奇乾、室韋兩縣分轄。1933年建額爾古納左翼旗，因額爾古納河而得名。額爾古納系蒙古語，意為呈遞、奉獻(xiàn)。蒙古語稱東為左。1945年8月9日偽滿垮臺，8月10日蘇聯(lián)紅軍進(jìn)駐三河并成立維持會。

1946年，經(jīng)呼倫貝爾自治政府批準(zhǔn)，成立了額爾古納左翼旗公署和額爾古納右翼旗公署。1947年11月，中國共產(chǎn)黨派工作團(tuán)進(jìn)駐三河街（今額爾古納市三河鎮(zhèn)），將額爾古納左、右翼兩旗合并為額爾古納旗。1966年4月1日，國務(wù)院批準(zhǔn)撤銷額爾古納旗，設(shè)額爾古納左旗和額爾古納右旗，額爾古納左旗政府所在地根河。1994年4月28日，經(jīng)國務(wù)院批準(zhǔn)撤銷額爾古納左旗，設(shè)立根河市，市政府駐根河。

1997年，根河市面積19659平方千米，人口17.7萬人。轄3街道6鎮(zhèn)1鄉(xiāng)：森工路街道、中央路街道、河西街道、得耳布爾鎮(zhèn)、牛耳河鎮(zhèn)、金河鎮(zhèn)、滿歸鎮(zhèn)、阿龍山鎮(zhèn)、好里堡鎮(zhèn)、敖魯古雅鄂溫克民族鄉(xiāng)。市政府駐森工路。根河境內(nèi)駐有內(nèi)蒙古大興安嶺林業(yè)管理局所屬的五個林業(yè)局和一個板業(yè)集團(tuán)，分別為根河林業(yè)局、得耳布爾林業(yè)局、金河林業(yè)局、阿龍山林業(yè)局、滿歸林業(yè)局、根河板業(yè)集團(tuán)；呼倫貝爾市電力公司根河電業(yè)局；隸屬于海拉爾鐵路分局處級單位——根河鐵路公司。

2000年第五次人口普查，根河市常住總?cè)丝?57337人，其中：中央路街道18567人、河西街道19757人、森工路街道21650人、好里堡鎮(zhèn)11415人、得耳布爾鎮(zhèn)19315人、金河鎮(zhèn)17950人、牛耳河鎮(zhèn)6508人、阿龍山鎮(zhèn)21791人、滿歸鎮(zhèn)19886人、敖魯古雅鄂溫克民族鄉(xiāng)498人。2000年末，全市戶籍總?cè)丝?73369人。

2002年末，全市總?cè)丝?72263人。2005年，根河市轄3個街道、5個鎮(zhèn)、1個民族鄉(xiāng)：河?xùn)|街道、河西街道、森工路街道、好里堡鎮(zhèn)、得耳布爾鎮(zhèn)、金河鎮(zhèn)、阿龍山鎮(zhèn)、滿歸鎮(zhèn)、敖魯古雅鄂溫克族鄉(xiāng)。

2006年，將6個鄉(xiāng)鎮(zhèn)調(diào)整為4個：撤銷得耳布爾鎮(zhèn)，并入敖魯古雅鄂溫克民族鄉(xiāng)；撤銷好力堡鎮(zhèn)，并入河西街道。確定敖魯古雅鄂溫克族鄉(xiāng)和金河鎮(zhèn)為中心鄉(xiāng)鎮(zhèn)。

2006年末，全市總面積20012平方千米。總?cè)丝?65747人，其中市區(qū)人口64286人；少數(shù)民族人口19375人。轄3個街道、3個鎮(zhèn)、1個鄉(xiāng)。

2009年末，全市總面積20012平方千米。總?cè)丝?60909人。有少數(shù)民族19270人，其中，蒙古族9912人，回族3227人，滿族3913人，達(dá)斡爾族915人，朝鮮族529人，鄂溫克族436人。轄3個街道、3個鎮(zhèn)、1個鄉(xiāng)和2個辦事處：河?xùn)|街道、河西街道、森工街道、金河鎮(zhèn)、阿龍山鎮(zhèn)、滿歸鎮(zhèn)、敖魯古雅鄂溫克族鄉(xiāng)、好里堡辦事處、得耳布爾辦事處。

2011年，恢復(fù)得耳布爾鎮(zhèn)。調(diào)整后，全市轄3個街道、4個鎮(zhèn)、1個民族鄉(xiāng)：河?xùn)|街道、河西街道、森工路街道、金河鎮(zhèn)、阿龍山鎮(zhèn)、滿歸鎮(zhèn)、得耳布爾鎮(zhèn)、敖魯古雅鄂溫克族鄉(xiāng)。