哈爾濱地名的由來，據有關資料記載，有如下幾種說法。《哈爾濱考》考證：“哈爾濱”是女真語“阿勒錦”一詞的譯轉，是“榮譽”的意思；《滿州地名考》記載：據說沙俄設置哈爾濱市街建設局時，曾經對地名的設置花費了很多的腦筋，巡視了松花江沿岸的一些小村落，，并向當地人尋問了地名，當地人稱此地為哈歐濱。同時沙俄也曾設想了許多名稱，但都未采用。最后取名為哈魯濱。1900年制作的地圖上就出現了“哈魯濱市街”的名稱。“哈魯濱”系滿語“魚網”的意思。據說很早以前這一帶是滿人的一個較大的捕魚區，漢人稱之為曬網場。后哈魯濱音訛為哈爾濱；又有些資料記載：昔日此地是松花江岸的一片草原地帶，蒙人以此地草甸平坦，遙望如哈喇，故稱哈喇濱，后音訛哈爾濱。

西周時期屬肅慎地；公元三世紀為挹婁屬地；南北朝時為勿吉地；隋唐時期歸靺鞨。宋代為女真族完顏部的屬地，當時將這里命名為阿勒錦村。清初屬阿拉楚喀（阿城）副都統管轄，有許多滿漢農民在此耕作。清代中后期，自嘉慶以后，隨著“京旗移墾”以及此后的開禁放墾政策的實行，到了十八世紀末，在哈爾濱地區已建立了更多的滿族移民和漢族墾民的村落，有許多滿、漢族人民在這里從事耕種和漁業，故此地曾有“魚村”之稱。光緒二十二年（1897年）六月三日由于清政府的腐敗，簽訂了不平等的《中俄密約》，使沙俄獲得了東清鐵路的修筑權。光緒二十三年（1896年）八月在東清鐵路修筑的同時，于舊哈爾濱（土名香房，當時主要是俄國人居住的地方）設置監督所。

翌年五月沙俄最后確定以哈爾濱為東清鐵路的修筑中心，于是開始了都市的建設。1900年開始在新市街（當時土名秦家崗）進行施工建筑，之后，將沙俄設置的各種行政機構遷移此處。同年，我國人民為了反抗沙俄的侵略，摧毀了沙俄的鐵路以及建筑，使沙俄苦心經營的成就與建筑化為無有。1901年沙俄要求清政府進行賠償，重新復興原狀。1903年松花江岸的部分地方也被沙俄侵占，變成沙俄鐵道的附屬地，屬東支鐵道長官所管轄。1918年十月革命以后，沙皇俄國的努力逐漸消退，但這一時期的哈爾濱仍為沙俄殘余勢力蹂躪時期，但此時中國開始陸續收回了沙俄時期一些特權。

1920年收回鐵路界內的司法權，同時由司法部將中東鐵路用地劃作了東省的特別區（包括哈爾濱東至綏芬河，西至滿州里、南至長春寬城子）。全區域共分五個區，每區各設總署分署及派公所分駐所，哈爾濱為第一區。1922年12月8日，北京政府公布“東省特別區行政長官辦事條例大綱”，于哈爾濱設行政長官公署。1926年3月30日東省特別區行政長官下令解散白俄霸占的市公議會及董事會，所有卷宗、票照及市有財產線由市政管理局接收。至此，被沙俄及其殘余侵占達二十八年之久的哈爾濱行政權全部收回。1932年3月偽滿洲國成立，同年7月11日便成立了“哈爾濱市政籌備所”。1933年7月1日，成立哈爾濱特別市，屬于偽中央直轄市。1937年7月1日，偽市制改革廢除了特別市。變哈爾濱為偽濱江省的直轄市，并為濱江省公署所在地。

1946年4月28日，哈爾濱解放，成立哈爾濱特別市政府。1948年4月21日，哈爾濱市改為省轄市，為松江省省會。1952年7月18日，哈爾濱市改為中央直轄市（由東北人民政府代管）（一說：1953年哈爾濱市改為中央直轄市，由東北行政委員會代管）。1954年6月19日，松江省與黑龍江省合并，哈爾濱市改為黑龍江省省轄市，為黑龍江省省會。

1956年10月，將東、西傅家區合并為道外區；撤銷天恒區，并入朝陽區；撤銷顧鄉區，并入道里區；平房區改為城區；全市共劃為道外、道里、南崗、香坊、太平、平房6個市區和朝陽、王崗、松浦3個郊區。1958年，哈爾濱市市郊屬的14個鄉改為農村人民公社。8月25日，原由省直轄的賓縣（駐賓州鎮）、阿城、肇東3縣及原綏化專區所屬呼蘭縣劃歸哈爾濱市管轄。9月27日，建立了城市區級香坊人民公社、機電人民公社。同年設立松花江專區，專署駐哈爾濱市，原綏化專區所屬綏化、望奎（駐雙龍鎮）、綏棱、海倫、慶安（鐵力縣撤銷并入）、通河、木蘭、蘭西、巴彥等9縣和原由省直轄的伊春市及五常、雙城、肇源、肇州4縣劃歸松花江專區，轄1市、13縣。

1960年5月12日，原屬松花江專區領導的通河、木蘭、巴彥、五常、雙城5縣劃歸哈爾濱市領導；原由哈爾濱市領導的肇東縣及原嫩江專區所屬青岡、明水2縣劃歸松花江專區；設立安達市，屬松花江專區；哈爾濱市共轄阿城、賓縣、呼蘭、雙城、五常、巴彥、木蘭、通河8個縣，松花江專區轄2市、11縣。1962年恢復鐵力縣，松花江專區轄2市、12縣。1964年伊春市改由省直轄，松花江專區轄1市、12縣。1965年安達市改由省直轄，原松花江專區改名為綏化專區。同年10月14日，由哈爾濱市所屬賓縣（駐賓州鎮）、阿城、呼蘭、通河、五常、木蘭、雙城、巴彥等8縣設松花江專區，專署駐哈爾濱市。1970年松花江專區改稱松花江地區，原屬牡丹江地區的尚志、方正、延壽3縣劃入松花江地區，轄11縣。

“文化大革命”時期，“哈爾濱市人民公社”取代了哈爾濱市人民委員會，1967年4月，撤銷哈爾濱市人民公社，成立哈爾濱市革命委員會；平房區改為“新曙光”（區）人民公社革命委員會，接著，各區相繼成立區級人民公社革命委員會。1979年9月-11月，市革命委員會先后撤銷區革命委員會名稱，恢復了各區人民政府稱謂。1980年1月5日-11日，召開哈爾濱市第七屆人民代表大會第一次會議，決定將哈爾濱市革命委員會改稱哈爾濱市人民政府，并先后撤銷市區各城市人民公社分社名稱，恢復街道辦事處稱謂。1984年1月20日，除太平區團結公社外，郊區21個農村人民公社實行政社分開，撤銷人民公社，建立21個鄉政府。1987年5月，市區88個街道辦事處調整為83個，轄區人口在兩萬人以上的62個街道辦事處晉升為處級建制。

1983年9月3日，國務院批準將松花江地區呼蘭、阿城二縣劃歸哈爾濱市管轄（10月18日正式實施）。1987年2月24日，經國務院批準（國函[1987]85號）撤銷阿城縣，設立阿城市（縣級），以原阿城縣的行政區域為阿城市的行政區域。1988年9月14日，民政部批準（民[1988]行批30號）撤銷雙城縣，設立雙城市（縣級），以原雙城縣的行政區域為雙城市的行政區域。1988年11月17日，國務院批準撤銷尚志縣，設立尚志市。1991年2月2日，國務院批準（國函[1991]4號）將松花江地區的方正縣、賓縣和佳木斯市的依蘭縣劃歸哈爾濱市。哈爾濱市的行政管轄區域從7區1縣1市擴大到7區4縣1市（縣級）。1993年6月1日，民政部批復（民行批[1993]117號）撤銷五常縣，設立五常市。

1996年8月11日，經國務院批準（國函[1996]64號），松花江地區和哈爾濱市合并，組建新的地級哈爾濱市。新的哈爾濱市轄原哈爾濱市的呼蘭縣、方正縣、賓縣、依蘭縣和道里區、南崗區、動力區、平房區、香坊區、太平區、道外區，原松花江地區的延壽縣、木蘭縣、巴彥縣、通河縣。原哈爾濱市代管的阿城市和原松花江地區的尚志市、雙城市、五常市由省直轄，委托哈爾濱市代管。合并后的新哈爾濱市轄7區12縣（市），265個鄉鎮、89個街道，1541個居委會、3532個村委會。

2000年第五次全國人口普查，哈爾濱市總人口9413359人。其中：道里區748313人、南崗區977432人、道外區383718人、太平區421806人、香坊區367382人、動力區410842人、平房區172011人、呼蘭縣632204人、依蘭縣364108人、方正縣225513人、賓縣538710人、巴彥縣611556人、木蘭縣258972人、通河縣203515人、延壽縣237655人、阿城市638894人、雙城市749182人、尚志市582764人、五常市888782人。

2004年2月4日，國務院批準（國函[2004]10號），調整哈爾濱市部分行政區劃：（1）撤銷哈爾濱市太平區，將其行政區域劃歸哈爾濱市道外區管轄。道外區人民政府駐北十四道街。（2）哈爾濱市設立松北區，轄原屬道外區的松北、松浦、萬寶3個鎮，太陽島、三電2個街道，以及原屬呼蘭縣的樂業、對青山2個鎮。松北區人民政府駐松北鎮松北一路。（3）撤銷呼蘭縣，設立哈爾濱市呼蘭區。以原呼蘭縣的行政區域（不含樂業、對青山2個鎮）為呼蘭區的行政區域。區人民政府駐呼蘭鎮南京路。區劃調整后，哈爾濱市轄8區11縣市，總面積5.3萬平方千米，市區面積由原來的1660.25平方千米，增加到4272平方千米，總人口954萬人，市區總人口由過去的315.2萬人增加到380萬人。

2004年9月23日，國務院批準（國函[2004]80號）：哈爾濱市人民政府駐地由道里區石頭道街遷至松北區世紀大道（2004年11月1日黑龍江省人民政府黑政發[2004]83號文件批準）。原市政府駐地石頭道街107號，郵編150010。

2006年8月15日，《國務院關于同意黑龍江省調整哈爾濱市部分行政區劃的批復》（國函[2006]73號）：（1）同意撤銷哈爾濱市動力區、香坊區，組建新的香坊區。以原動力區和香坊區的行政區域為新設香坊區的行政區域。香坊區人民政府駐香坊大街。（2）將阿城市永源鎮、巨源鎮劃歸哈爾濱市道外區管轄。（3）撤銷阿城市，設立哈爾濱市阿城區。以原阿城市（不包括永源鎮、巨源鎮）的行政區域為阿城區的行政區域。阿城區人民政府駐民權大街。8月28日，省政府下發了《黑龍江省人民政府轉發國務院關于同意黑龍江省調整哈爾濱市部分行政區劃批復的通知》。哈爾濱市行政區劃由原來的8區、11縣（市）調整為8區、10縣（市），市區面積由4272平方千米增加到7086平方千米，市區人口由398.96萬人增加到464.24萬人。

2010年第六次人口普查，哈爾濱市常住總人口10635971人，其中：道里區923762人，南崗區1343857人，道外區906421人，平房區190253人，松北區236848人，香坊區916408人，呼蘭區764534人，阿城區596856人，依蘭縣388319人，方正縣203853人，賓縣551271人，巴彥縣590555人，木蘭縣277685人，通河縣210650人，延壽縣242455人，雙城市825634人，尚志市585386人，五常市881224人。

2014年，《國務院關于同意黑龍江省調整哈爾濱市部分行政區劃的批復》（國函[2014]55號）：同意撤銷縣級雙城市，設立哈爾濱市雙城區，以原雙城市的行政區域為雙城區的行政區域，雙城區人民政府駐雙城鎮新興大街99號。