克山一帶，清代，屬布特哈游牧地，清末添設民官，歸訥河直隸廳管轄。1915年（民國四年）3月18日，黑龍江巡按使公署“飭開”，于訥河縣屬三站地方設置克山設治局，隸屬龍江道管轄。設治員薛翹如于3月19日在省城啟用關防，衙署初設二克山（因治所附近有雙山對峙，俗稱“克爾克圖山”），因山得名。同年8月2日批準，改設克山縣，列三等縣，后將縣署移駐三站（亦稱察霍鎮，今克山縣城）【克山縣原境內有座突兀聳立的死火山，其形狀如城闕，稱二克山（現在克東縣城北），縣名來源于此】。

1929年2月，裁撤龍江道，改由省直轄。同年3月，由二等縣升為一等縣；11月，將二克山一帶劃出設置克東設治局。東北淪陷后，初隸黑龍江省，1934年12月劃歸龍江省管轄。1939年6月，劃歸新設之北安省管轄。1945年“九三”抗日戰爭勝利后，隸屬黑龍江省管轄。1951年7月，中央人民政府政務院頒布市、縣等級，克山縣為丙等縣。1954年8月，松江、黑龍江兩省合并后，由省直轄。1956年3月，劃歸嫩江專區管轄。1960年5月至1961年10月，嫩江專區一度撤銷時，曾歸齊齊哈爾市領導。1985年1月，嫩江地區正式撤銷，劃歸齊齊哈爾市領導。

1992年末，克山縣位于黑龍江省中部偏西，小興安嶺西麓，松嫩平原北緣�？h境東靠克東縣，南與拜泉縣、依安縣毗連，西和西北與訥河市接壤，東北與德都縣為鄰。全境南北長最大距離79.9千米，東西寬最大距離67.7千米，總面積3186平方千米�？側丝�47.4萬人，其中非農業人口10萬人；滿、蒙古、達斡爾等少數民族人口約占2%。轄17個鄉鎮。縣政府駐地克山鎮。（以上摘自《黑龍江省志·地名錄》，有改動）

1996年，克山縣轄6個鎮、11個鄉：克山鎮、古城鎮、西河鎮、西城鎮、北聯鎮、北興鎮、河南鄉、雙河鄉、濱河鄉、河北鄉、古北鄉、酉聯鄉、發展鄉、西建鄉、涌泉鄉、向華鄉、曙光鄉。

2000年第五次人口普查，克山縣總人口450687人，其中：克山鎮81901人，古城鎮29216人，西河鎮24570人，西城鎮25033人，北聯鎮21689人，北興鎮26370人，河南鄉26287人，雙河鄉14984人，濱河鄉15921人，河北鄉25966人，古北鄉21863人，西聯鄉22273人，發展鄉21562人，西建鄉19228人，向華鄉14018人，涌泉鄉15906人，曙光鄉20877人，克山農場23023人。

2003年，撤銷涌泉鄉，將其行政區域劃歸向華鄉管轄，鄉政府駐慶功村（黑民區[2003]108號）�？松娇h現轄6個鎮、9個鄉：克山鎮、北興鎮、西城鎮、古城鎮、北聯鎮、西河鎮、河南鄉、雙河鄉、河北鄉、古北鄉、西聯鄉、發展鄉、西建鄉、向華鄉、曙光鄉。