阿城為“阿勒楚喀城”的簡稱，以城東之阿勒楚喀河（今阿什河）得名。阿勒楚喀河，《金史》作“按出虎”，女真語“金子”之意【安車骨、安出虎、阿勒楚喀均為滿語“黃金”的意思】。是金朝的發(fā)祥地，遼末女真族完顏部居住在海古勒水（阿什河支流海溝水），并以此為中心建立了金國。金朝早期（1115—1153年）都城上京會(huì)寧府建于今阿城城區(qū)南2千米的白城。
漢代為挹婁的屬地。隋代為安車骨部所據(jù)（即靺鞨七部之一）。唐渤海時(shí)代是粟末靺鞨居住的地方，稱之為海古勒地。金代此地屬上京會(huì)寧府地；元為水達(dá)達(dá)路；明置阿實(shí)衛(wèi)，以河水為名（即阿勒楚喀，快讀音為阿什河）。元明兩代為女真族居住地。清初屬寧古塔將軍轄區(qū)。雍正三年（1725年）筑阿勒楚喀城，四年（1726年）設(shè)副都統(tǒng)衙門，統(tǒng)管左右兩翼，并各設(shè)協(xié)領(lǐng)官一名，分別治理地方一切民刑兵馬等事【一說：雍正二年十二月（1725年2月），寧古塔將軍奏準(zhǔn)于金上京會(huì)寧府故址設(shè)置拉林阿勒楚喀協(xié)領(lǐng)。雍正七年（1729年），協(xié)領(lǐng)衙門移駐新城（今阿城城區(qū)），仍名阿勒楚喀城】。
乾隆二十六年（1761年），將拉林阿勒楚喀副都統(tǒng)1員移駐阿勒楚喀城。光緒七年（1881年）于阿勒楚喀副都統(tǒng)轄區(qū)東北境葦子溝設(shè)置賓州廳。光緒三十三年（1907年）改行省制，裁撤副部統(tǒng)衙門。三十四年（1908年）設(shè)阿城縣�！疽徽f：光緒八年經(jīng)駐吉林將軍銘安奏準(zhǔn)開放荒地，并設(shè)賓州廳管理民事，逐之將阿勒楚喀衙門管轄的民籍事務(wù)劃歸賓州廳管理宣統(tǒng)元年四月十五日（1909年6月2日），裁撤阿勒楚喀副都統(tǒng)。同年八月（9月），奏準(zhǔn)設(shè)置阿城縣，駐阿勒楚喀城，隸屬濱江關(guān)道（后改為西北路道）。】
1914年6月屬吉林省濱江道。1929年2月裁撤道區(qū)，阿城縣由吉林省直轄；總?cè)丝?4萬，時(shí)為三等縣。東北淪陷后，初隸吉林省，為乙類縣。1934年12月劃歸濱江省管轄。1945年抗日戰(zhàn)爭勝利后，隸屬松江省哈東專區(qū)。1947年8月哈東專區(qū)撤銷后，由松江省直轄。1951年全縣總?cè)丝?6.1萬人，為丙等縣。1954年8月，松、黑兩省合并后，由黑龍江省直轄。1958年8月，劃歸哈爾濱市領(lǐng)導(dǎo)。1965年6月，劃歸松花江專區(qū)管轄。1983年9月，劃歸哈爾濱市領(lǐng)導(dǎo)。
1987年2月24日，國務(wù)院（國函[1987]85號(hào)）批準(zhǔn)同意撤銷阿城縣，設(shè)立阿城市（縣級(jí)），以原阿城縣的行政區(qū)域?yàn)榘⒊鞘械男姓䥇^(qū)域；同年省政府決定，阿城市由哈爾濱市代管。2006年8月15日，國務(wù)院批準(zhǔn)（國函[2006]73號(hào)）同意將阿城市永源鎮(zhèn)、巨源鎮(zhèn)劃歸哈爾濱市道外區(qū)管轄；同意撤銷阿城市，設(shè)立哈爾濱市阿城區(qū)。以原阿城市（不包括永源鎮(zhèn)、巨源鎮(zhèn)）的行政區(qū)域?yàn)榘⒊菂^(qū)的行政區(qū)域。區(qū)政府駐民權(quán)大街。
1945年“九·三”后，行政區(qū)劃襲用偽滿后期之街村制，全縣1街17村。1946改為區(qū)制，全縣設(shè)城關(guān)、白城、三家、嘎哈、正旗、紅旗、玉泉、石槽、永源、達(dá)營、料甸、于店、蜚克圖、雙河、平山15區(qū)，縣民主政府駐城關(guān)區(qū)。1949年初，并三家、正紅2區(qū)為三正區(qū)，并紅旗、石槽2區(qū)為紅石區(qū)，并嘎哈、于店2區(qū)為哈店區(qū)，全縣設(shè)城關(guān)、雙白、三正、紅石、哈店、天恒、雙源、蜚克圖、料甸、達(dá)營、玉泉、平嶺12個(gè)區(qū)。1950年5月10日，縣人民政府決定區(qū)名以數(shù)字排列：一區(qū)（城關(guān)）、二區(qū)（雙白）、三區(qū)（三正）、四區(qū)（哈店）、五區(qū)（紅石）、六區(qū)（天恒）、七區(qū)（雙源）、八區(qū)（蜚克圖）、九區(qū)（料旬）、十區(qū)（達(dá)營）、十一區(qū)（玉泉）、十二區(qū)（平嶺）。
1953年6月29日，松江省政府批準(zhǔn)，將第六區(qū)的雙恒等9個(gè)村和第五區(qū)的勤勞等兩個(gè)村，共11個(gè)村劃歸哈爾濱市管轄。1956年，將原12個(gè)區(qū)改為阿城、玉泉2鎮(zhèn)和椴樹、雙蘭、白城、楊樹、共和、榮和、繁榮、新華、舍利、石槽、新鄉(xiāng)、繁興、新豐、巨源、永和、永源、雙興、蜚克圖、紅旗、料甸、海興、大嶺、興隆、紅星、沙河、亞溝、礦山、平山、中興、西川、小嶺、山河32鄉(xiāng)。1957年礦山鄉(xiāng)并入玉泉鎮(zhèn)，全縣為2鎮(zhèn)3l鄉(xiāng)。1958年將31鄉(xiāng)并為13鄉(xiāng)，全縣轄阿城、玉泉2鎮(zhèn)和雙白、楊樹、舍利、永源、新鄉(xiāng)、蜚克圖、巨源、料甸、大嶺、紅星、沙河、小嶺、平山13鄉(xiāng)。
1958年9月，人民公社化，原2鎮(zhèn)13鄉(xiāng)改為阿什河、雙豐、楊樹、舍利、石槽、巨源、永源、蜚克圖、料甸、紅星、大嶺、玉泉、沙河、小嶺、平山15個(gè)公社：縣城及城郊為阿什河公社，由雙白鄉(xiāng)析置雙豐公社，改新鄉(xiāng)鄉(xiāng)為石槽公社。沙河公社一度與玉泉合并公社，后又分出。1960年，蜚克圖公社劃給賓縣，石槽、巨源、永源3個(gè)公社及楊樹公社北部、舍利公社北部劃哈爾濱市，舍利公社南部并入阿什河公社，紅星公社并入大嶺公社，沙河公社并入玉泉公社，全縣轄阿什河、雙豐、楊樹、料甸、大嶺、玉泉、小嶺、平山8個(gè)公社。
1961年，蜚克圖公社從賓縣劃回阿城，從阿什河公社分出舍利公社，從大嶺公社分出紅星公社，全縣轄阿什河、雙豐、楊樹、臺(tái)利、蜚克圖、料甸、紅星、大嶺、玉泉、小嶺、平山11個(gè)公社。1962年，永源、巨源2個(gè)公社劃回阿城，石槽公社一部分劃回阿城設(shè)立新鄉(xiāng)公社，楊樹北部從哈爾濱市劃回成立利新公社，從玉泉公社分出沙河公社，從舍利公社劃增新華公社。1964年從阿什河公社中劃增阿城鎮(zhèn)公社。1973年從平山公社中劃增山河公社。1981年改沙河公社為交界公社。全縣轄阿城鎮(zhèn)、阿什河、雙豐、楊樹、利新、新華、舍利、新鄉(xiāng)、巨源、永源、蜚克圖、料甸、紅星、大嶺、玉泉、亞溝、沙河、小嶺、平山、山河20個(gè)公社。