黑山明代名鎮遠堡，清初又叫小河山，小黑山。縣城東北隅有小黑山，古上帝廟建于其顛。該山雖不甚高，但登臨其上，遠望群山，近瞻縣街，如在足下。黑山之名系依此山而得。戰國時期屬燕國遼東郡地。秦統一中國后，黑山境仍屬于遼東郡。西漢時屬幽州刺支部遼東郡。東漢屬遼東屬國，三國時屬幽州昌黎郡（今義縣）。西晉時屬平州（今遼陽）昌黎郡（今義縣）。東晉十六國前燕、前秦、后燕仍屬平州昌黎郡。南北朝時為營州地。隋屬燕郡（今義縣）。唐屬安東都護府。遼屬東京道顯州奉先軍。

金屬北京路廣寧府，大定二十九年（1189）置望平縣。元屬廣寧府路，境內設望平縣。明屬廣寧衛。滿清入關后，本境分屬廣寧縣及新民縣地。光緒二十八年（1902年）始在廣寧、新民分治，置官設縣，名為鎮安縣（并于小三家子設鎮安分縣），屬新民廳。1914年1月，因與陜西鎮安縣同名，改為黑山縣，隸屬于奉天省遼沈道。1929年屬遼寧省。1932年屬奉天省。1935年屬錦州省。1949年屬遼西省。1954年屬遼寧省。

1996年，黑山縣面積2436平方千米，人口約64.3萬人，其中滿族人口約12萬人。轄16個鎮、11個鄉、2個民族鄉：黑山鎮、八道壕鎮、小東鎮、大虎山鎮、無梁殿鎮、白廠門鎮、半拉門鎮、四家子鎮、芳山鎮、勵家鎮、胡家鎮、姜屯鎮、繞陽河鎮、常興鎮、新立屯鎮、新興鎮、二道鄉、大興鄉、六合鄉、太和鄉、司屯滿族鄉、四間房鄉、李屯鄉、羅屯鄉、英城子鄉、段家鄉、勝利鄉、鎮安滿族鄉、薛屯鄉。縣政府駐黑山鎮。

1997年，撤銷司屯滿族鄉、太和鄉，設立羊腸河鎮、太和鎮（遼政[1997]30號）。調整后，黑山縣轄18個鎮、10個鄉、1個民族鄉：黑山鎮、芳山鎮、白廠門鎮、常興鎮、姜屯鎮、勵家鎮、繞陽河鎮、半拉門鎮、無梁殿鎮、胡家鎮、新立屯鎮、八道壕鎮、大虎山鎮、四家子鎮、新興鎮、小東鎮、太和鎮、羊腸河鎮、鎮安滿族鄉、英城子鄉、六合鄉、羅屯鄉、李屯鄉、勝利鄉、段家鄉、大興鄉、二道鄉、薛屯鄉、四間房鄉。

2000年第五次人口普查，黑山縣常住總人口617664人，其中：黑山鎮74444人，芳山鎮22015人，白廠門滿族鎮16605人，常興鎮14215人，姜屯鎮22215人，勵家鎮27142人，繞陽河鎮19243人，半拉門鎮19368人，無梁殿滿族鎮23213人，胡家鎮22700人，新立屯鎮31076人，八道壕鎮43850人，大虎山鎮46194人，四家子鎮20579人，新興鎮15637人，小東鎮29694人，太和鎮14444人，羊腸河滿族鎮15031人，鎮安滿族鄉19558人，英城子鄉10975人，六合鄉10046人，羅屯鄉9364人，李屯鄉10645人，勝利鄉11688人，段家鄉25912人，大興鄉10015人，二道鄉10187人，薛屯鄉10687人，四間房鄉10922人。

2002年1月31日，遼寧省政府（遼政[2002]34號）批準：撤銷鎮安滿族鄉、羊腸河鎮，合并設立鎮安滿族鄉；撤銷勝利鄉、太和鎮，合并設立太和鎮；撤銷二道鄉、繞陽河鎮，合并設立繞陽河鎮；撤銷六合鄉、英城子鄉，合并設立英城子鄉；撤銷四間房鄉、常興鎮，合并設立常興鎮；撤銷李屯鄉、芳山鎮，合并設立芳山鎮；撤銷羅屯鄉、薛屯鄉，合并設立薛屯鄉；撤銷白廠門滿族鎮、無梁殿滿族鎮，分別設立白廠門鎮、無梁殿鎮，繼續享受民族鄉待遇。（同年3月正式實施）

2002年6月，黑山縣轄17個鎮、5個鄉（其中1個民族鄉），51個社區、417個行政村，面積2436.01平方千米，人口約63.40萬人，縣政府駐黑山鎮中大中路189號。

2010年第六次人口普查，黑山縣常住總人口615085人，其中：黑山鎮102888人，芳山鎮29524人，白廠門鎮16004人，常興鎮22099人，姜屯鎮21037人，勵家鎮23982人，繞陽河鎮24815人，半拉門鎮18876人，無梁殿鎮23501人，胡家鎮22829人，新立屯鎮28859人，八道壕鎮40761人，大虎山鎮43591人，四家子鎮20205人，新興鎮14742人，太和鎮24077人，英城子鄉20037人，鎮安鄉34274人，段家鄉24320人，大興鄉9734人，薛屯鄉18082人，遼寧省錦州市小東種畜場30848人。

2013年8月9日，省政府（遼政[2013]159號）批復同意：撤銷鎮安滿族鄉，設立鎮安鎮；撤銷黑山鎮、大虎山鎮，設立黑山街道、大虎山街道。