牙克石，似系滿語，意為“要塞”、“城堡”。一說意為“河灘”。一說系蒙古語，意為森林，因地處大興安嶺林區(qū)而得名。清代為索倫部狩獵區(qū)，1950年設(shè)喜桂圖旗，1969～1979年曾劃歸黑龍江省轄。1983年改置牙克石市。
1996年?，牙克石市面積27828.8平方千米，人口42.4萬人。轄6個街道、15個鎮(zhèn)：紅旗街道、勝利街道、新工街道、永興街道、建設(shè)街道、暖泉街道、伊圖里河鎮(zhèn)、圖里河鎮(zhèn)、西尼氣鎮(zhèn)、新帳房鎮(zhèn)、庫都爾鎮(zhèn)、原林鎮(zhèn)、烏爾其漢鎮(zhèn)、牧原鎮(zhèn)、煤田鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)。境內(nèi)有內(nèi)蒙古大興安嶺林業(yè)管理局（即中國內(nèi)蒙古森工集團(tuán)公司）及其所屬的伊圖里河、圖里河、庫都爾、烏爾其漢、綽源、綽爾6個林業(yè)局（縣級）和牙克石林業(yè)木材加工栲膠聯(lián)合廠，同時還境內(nèi)有免渡河、烏奴耳、巴林3個林業(yè)局（縣級）和牙克石、莫拐、免渡河3個國營農(nóng)場（縣級）。
2000年第五次人口普查，牙克石市總?cè)丝?05806人，其中：勝利街道19769人，紅旗街道20035人，新工街道21027人，永興街道19954人，建設(shè)街道30888人，暖泉街道18854人，牧原鎮(zhèn)20596人，免渡河鎮(zhèn)35448人，烏奴耳鎮(zhèn)14041人，博克圖鎮(zhèn)23771人，巴林鎮(zhèn)12491人，綽源鎮(zhèn)16921人，塔爾氣鎮(zhèn)20939人，煤田鎮(zhèn)10574人，烏爾其漢鎮(zhèn)31710人，原林鎮(zhèn)9582人，庫都爾鎮(zhèn)17886人，新帳房鎮(zhèn)4264人，西尼氣鎮(zhèn)3656人，圖里河鎮(zhèn)27404人，伊圖里河鎮(zhèn)25996人。
2000年，全市總面積27540平方千米。總?cè)丝?05403人，其中農(nóng)業(yè)人口15750人，非農(nóng)業(yè)人口386672人；少數(shù)民族人口40005人，其中蒙古族17588人，回族6622人，鄂倫春族130人，鄂溫克族425人，其他少數(shù)民族15260人。轄15個鎮(zhèn)、6個街道，即牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)、煤田鎮(zhèn)、烏爾其汗鎮(zhèn)、原林鎮(zhèn)、庫都爾鎮(zhèn)、新帳房鎮(zhèn)、西尼氣鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)、勝利街道、紅旗街道、新工街道、永興街道、建設(shè)街道、暖泉街道。
2001年，撤銷西尼氣鎮(zhèn)、新帳房鎮(zhèn)，并入圖里河鎮(zhèn)；撤銷原林鎮(zhèn)，并入庫都爾鎮(zhèn)。調(diào)整后，全市轄6個街道、12個鎮(zhèn)：勝利街道、紅旗街道、新工街道、永興街道、建設(shè)街道、暖泉街道、牧原鎮(zhèn)、免渡河鎮(zhèn)、烏奴耳鎮(zhèn)、博克圖鎮(zhèn)、巴林鎮(zhèn)、綽源鎮(zhèn)、塔爾氣鎮(zhèn)、煤田鎮(zhèn)、烏爾其漢鎮(zhèn)、庫都爾鎮(zhèn)、圖里河鎮(zhèn)、伊圖里河鎮(zhèn)。2001年末，全市總?cè)丝?04524人，其中農(nóng)業(yè)人口15441人，非農(nóng)業(yè)人口386697人。
2006年，撤銷牧原鎮(zhèn)，將牧原鎮(zhèn)原管轄的行政區(qū)域288.8平方千米和免渡河鎮(zhèn)原管轄的行政區(qū)域33.8平方千米合并設(shè)立街道辦事處；撤銷烏奴耳鎮(zhèn)，將其原管轄的行政域整建制和原牧原鎮(zhèn)原管轄的行政區(qū)域??(數(shù)據(jù)有待補充)平方千米并入免渡河鎮(zhèn)；撤銷塔爾氣鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入綽源鎮(zhèn)；撤銷伊圖里河鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入圖里河鎮(zhèn)；撤銷巴林鎮(zhèn)，將其原管轄的行政區(qū)域整建制并入博克圖鎮(zhèn)；撤銷煤田鎮(zhèn)，將其原管轄的行政區(qū)域整建制和牧原鎮(zhèn)的1814.9平方千米并入烏爾其漢鎮(zhèn)。
2006年，全市總面積27590平方千米。總?cè)丝?85523人，其中少數(shù)民族41249人。轄6個街道、6個鎮(zhèn)、6個辦事處。
2009年，全市總面積27590平方千米。總?cè)丝?74907人，其中農(nóng)業(yè)人口13453人，非農(nóng)業(yè)人口361028人；市區(qū)人口132475人，鄉(xiāng)鎮(zhèn)人口242432人（包括東興辦事處）。有少數(shù)民族40590人，其中：蒙古族18350人，回族6063人，鄂溫克族406人，鄂倫春族97人，其它少數(shù)民族15674人。市轄7個街道、6個鎮(zhèn)、5個辦事處。
2011年，恢復(fù)烏奴耳鎮(zhèn)、塔爾氣鎮(zhèn)、伊圖里河鎮(zhèn)。調(diào)整后，全市轄7個街道、9個鎮(zhèn)：勝利街道、紅旗街道、新工街道、永興街道、建設(shè)街道、暖泉街道、東興街道、免渡河鎮(zhèn)、博克圖鎮(zhèn)、綽河源鎮(zhèn)、烏爾其漢鎮(zhèn)、庫都爾鎮(zhèn)、圖里河鎮(zhèn)、烏奴耳鎮(zhèn)、塔爾氣鎮(zhèn)、伊圖里河鎮(zhèn)。