齊齊哈爾，達斡爾語“奇察哈里”的轉音，意為“邊疆”或“天然牧場”。因建城于“卜魁（亦作卜奎）村”，又稱“卜奎”，別名“龍沙”。漢晉屬夫余，隋唐屬室韋，遼屬東京道和上京道，金屬蒲峪路和烏古迪烈統軍司管轄，元屬遼陽行省開元路，明為奴兒干都司福余衛轄地，清初為達斡爾、錫伯族狩獵游牧之地。康熙初年見于文獻記載有“卜魁村”。1674年（清康熙十三年），清廷將吉林水師營部分兵丁移駐嫩江西岸齊齊哈爾屯（今齊齊哈村）。1684年（清康熙二十三年），因征“羅剎”，于齊齊哈爾屯設火器營，派參領駐守。翌年于江東卜奎設卜奎驛站。1691年（清康熙三十年），清廷為加強齊齊哈爾邊防，批準在齊齊哈爾屯建木城。后因隔江交通不便，改在江東卜奎站建城，仍以齊齊哈爾名城，是為齊齊哈爾建城之始。翌年，清廷決定，選披甲1000名，并附丁2000名，一同鎮守齊齊哈爾地方，令副都統品級管轄，兩翼各設一防守尉。
1698年（清康熙三十七年），裁去城守尉，移墨爾根副都統駐守齊齊哈爾城。1699年（清康熙三十八年），黑龍江將軍移駐齊齊哈爾城，從此齊齊哈爾便成為黑龍江地區的政治中心和軍事重鎮。康熙年間，城中已擁有數萬人，駐防清軍兩千余人。清末，1905年（清光緒三十一年），黑龍江將軍奏準，于齊齊哈爾城設置黑水廳，管轄齊齊哈爾一帶地方。翌年初，因已設民官，遂裁撤齊齊哈爾副都統。1907年（清光緒三十三年），裁將軍改設行省，齊齊哈爾城由城垣巡警總局管轄，并由清廷決定開為商埠。1908年（清光緒三十四年），黑水廳升改龍江府，府署仍駐齊齊哈爾城。中華民國成立后，齊齊哈爾城為省、道、縣公署駐地。1924年3月1日，于齊齊哈爾設省城市政公所，1929年1月1日改設黑龍江省城兼商埠市政局。東北淪陷后，1932年7月，設立省城市政局。1933年2月，設立齊齊哈爾市政局，1936年4月改稱齊齊哈爾市公署。
1945年“九三”抗日戰爭勝利后，隸屬嫩江省管轄。1949年5月，黑、嫩兩省合并后，隸屬黑龍江省管轄。1954年6月19日，中央人民政府決定，松江省與黑龍江省合并為黑龍江省。由于新的黑龍江省管轄區域擴大，為加強對邊遠市縣的領導，根據同年7月21日東北行政委員會《關于貫徹中央人民政府〈關于撤銷大區一級行政機構和合并若干省市建制的決定〉的實施方案》規定，在兩省合并的同時，在省境西部設立嫩江專區，管轄嫩江、訥河、依安、富裕、林甸、甘南、龍江、泰來、景星、杜爾伯特10縣（旗）。嫩江專員公署駐齊齊哈爾市。
1954年10月，將龍江縣的達斡爾族自治區、富拉爾基鎮、昂昂溪鎮等地區，共59個村、16個街，劃歸齊齊哈爾市管轄。1956年3月，撤銷景星縣，并入龍江縣，將原由省直轄的安達、青岡、明水、拜泉、克山、克東6縣劃歸嫩江專區管轄。同年10月，撤銷杜爾伯特旗，設置杜爾伯特蒙古族自治縣。1958年8月和9月，將省直轄的齊齊哈爾市和綏化專區的北安縣劃歸嫩江專區管轄。1960年1月，將撤縣設市的北安市劃歸黑河專區管轄。
1960年5月12日，國務院批準，撤銷嫩江專區，與齊齊哈爾市實行地市合并，齊齊哈爾市改由省直轄，將原嫩江專區所屬的嫩江、訥河、依安、克山、拜泉、克東、富裕、林甸、甘南、龍江、泰來、杜爾伯特12縣（自治縣）劃歸齊齊哈爾市領導；將青岡、明水2縣和安達市劃歸松花江專區管轄。1961年10月7日，恢復嫩江專區，將齊齊哈爾市及其領導的12縣（自治縣）劃歸嫩江專區管轄。嫩江專員公署駐齊齊哈爾市。1964年1月，將齊齊哈爾市改由省直轄。
1967年4月，經黑龍江省革命委員會批準，成立嫩江地區革命委員會，嫩江專員公署正式撤銷，嫩江專區遂改為嫩江地區，仍轄原嫩江專區所屬的12縣（自治縣）。嫩江地區革委會駐齊齊哈爾市。1970年4月，將嫩江縣劃歸黑河地區管轄。1978年12月，根據新《憲法》的規定，將嫩江地區革命委員會改為嫩江地區行政公署，“由實變虛”，為省政府的派出機關。嫩江地區行政公署駐齊齊哈爾市。
1984年12月15日，國務院批準，撤銷嫩江地區，與齊齊哈爾市實行地市合一，從1985年1月1日起實行市領導縣體制，除轄有原7個市轄區外，領導龍江、訥河、拜泉、依安、克山、克東、富裕、甘南、泰來、林甸縣和杜爾伯特蒙古族自治縣，共11縣。1992年8月21日，國務院批準，將林甸縣和杜爾伯特蒙古族自治縣劃歸大慶市領導；9月，訥河縣撤縣設市，由齊齊哈爾市代管。是時，全市共轄7區、8縣，代管1個市。
1992年末，齊齊哈爾市（不含轄縣）位于松嫩平原西部，嫩江中游，為黑龍江省西部地區的政治、經濟、文化和交通中心，是黑龍江省的第二大城市。東與富裕、林甸縣為鄰，南與泰來縣和杜爾伯特蒙古族自治縣毗連，西與龍江縣接壤，北與甘南縣相連。所屬碾子山區距市中心區西85千米，跨越龍江縣與內蒙古自治區扎蘭屯市毗鄰。全市轄龍沙、鐵鋒、建華、富拉爾基、昂昂溪、碾子山6個城市區和梅里斯1個郊區（梅里斯是全國達斡爾族聚居區之一）。總面積4350平方千米。總人口139.8萬人，其中非農業人口108.5萬人；滿、達斡爾、回、蒙古、錫伯等少數民族人口約占總人口的6%，達斡爾族人口占全國達斡爾族總人口的1／4。市政府駐地龍沙區。（以上摘自《黑龍江省志·地名錄》，有改動）
1996年，齊齊哈爾市面積42297平方千米，人口543.5萬人。轄龍沙、建華、鐵鋒、昂昂溪、富拉爾基、碾子山、梅里斯達斡爾族7個區及龍江、依安、泰來、甘南、富裕、克山、克東、拜泉8個縣，代管訥河1個縣級市。市政府駐龍沙區。（根據《中國政區大典》）
2000年第五次人口普查，齊齊哈爾市總人口5419621人。其中：龍沙區342511人，建華區236028人，鐵鋒區332341人，昂昂溪區90647人，富拉爾基區285762人，碾子山區82507人，梅里斯達斡爾族區170293人，龍江縣570606人，依安縣447706人，泰來縣310160人，甘南縣360555人，富裕縣284964人，克山縣450687人，克東縣264563人，拜泉縣517996人，訥河市672295人。