元至治三年（1323年）析懷寧縣地置潛山縣。因潛山在縣西北，故名。治海城。1949年屬安慶專區，1988年為安慶市轄縣。

　　1992年撤區并鄉，全縣設12個鎮、18個鄉。
　　1997年，潛山縣面積1686平方千米，人口56.0萬，轄11個鎮、19個鄉：梅城鎮、黃泥鎮、源潭鎮、王河鎮、余井鎮、黃鋪鎮、水吼鎮、黃柏鎮、官莊鎮、槎水鎮、天柱山鎮、油壩鄉、古井鄉、牌樓鄉、痘姆鄉、龍潭鄉、杜埠鄉、嶺頭鄉、青樓鄉、橫中鄉、五廟鄉、棋盤鄉、三妙鄉、逆水鄉、彭河鄉、割肚鄉、龍關鄉、塔畈鄉、水貴鄉、后沖鄉。縣政府駐梅城鎮。
　　2000年，潛山縣轄12個鎮、18個鄉。第五次人口普查，全縣總人口515261人，其中：梅城鎮96950人，王河鎮44212人，源潭鎮29887人，余井鎮21061人，棋盤鎮17669人，黃泥鎮17167人，槎水鎮16465人，官莊鎮15729人，水吼鎮14055人，黃柏鎮14016人，黃鋪鎮14817人，天柱山鎮13568人，油壩鄉20030人，嶺頭鄉17017人，痘姆鄉15311人，古井鄉15806人，塔畈鄉14505人，牌樓鄉14087人，青樓鄉13089人，三妙鄉10838人，杜埠鄉11019人，五廟鄉10080人，橫中鄉9221人，逆水鄉8583人，龍關鄉8627人，后沖鄉7677人，割肚鄉7373人，龍潭鄉6482人，水貴鄉5314人，彭河鄉4606人。
　　2004年，潛山縣鄉鎮行政區劃調整，鄉鎮由30個調整為16個：（1）將古井鄉、牌樓鄉、黃鋪鎮整建制合并，設立黃鋪鎮。鎮政府駐黃泥鋪。（2）將橫中鄉、割肚鄉、水吼鎮整建制合并，設立水吼鎮。鎮政府駐水吼嶺。（3）將嶺頭鄉、青樓鄉、余井鎮整建制合并，設立余井鎮。鎮政府駐余家井。（4）將棋盤鎮、三妙鄉、源潭鎮整建制合并，設立源潭鎮。鎮政府駐下河。（5）將逆水鄉、龍關鄉、搓水鎮整建制合并，設立槎水鎮。鎮政府駐桑園。（6）將水貴鄉、后沖鄉、官莊鎮整建制合并，沒立官莊鎮。鎮政府駐劉家新屋。（7）將彭河鄉、塔畈鄉整建制合并，沒立塔畈鄉。鄉政府駐千門口。（8）將杜埠鄉、龍潭鄉整建制合并，設立龍潭鄉。鄉政府駐杜埠街。（9）保留梅城鎮、王河鎮、天柱山鎮、黃泥鎮、黃柏鎮、痘姆鄉、油壩鄉、五廟鄉。（安徽省民政廳民地字[2004]209號）（安政秘[2004]143號）（潛山縣人民政府2004年12月27日）
　　截至2005年12月31日，潛山縣轄11個鎮、5個鄉：梅城鎮、王河鎮、天柱山鎮、黃泥鎮、黃柏鎮、黃鋪鎮、水吼鎮、余井鎮、源潭鎮、槎水鎮、官莊鎮、痘姆鄉、油壩鄉、五廟鄉、塔畈鄉、龍潭鄉。