1947年設(shè)中山區(qū)，1951年改中市區(qū)。為蚌埠最早形成的老市區(qū)。2004年，中市區(qū)更名為蚌山區(qū)，因轄區(qū)內(nèi)“南山”得名。

1996年，中市區(qū)位于蚌埠市區(qū)中部，市政府駐地，面積4.3平方千米，人口約8.5萬人，是全市面積最小，人口密度最大（每平方千米19767人）的區(qū)。轄5個街道：小蚌埠街道、緯二路街道、青年街道、天橋街道、勝利街道。區(qū)政府駐南山路。

1998年8月將東市區(qū)的延安街道，西市區(qū)的朝陽路以東、涂山路以西區(qū)域（黃莊街道）劃歸中市區(qū)管轄。調(diào)整后，中市區(qū)轄7個街道。

2000年第五次人口普查，蚌山區(qū)常住總?cè)丝?18178人，其中：天橋街道12737人，青年街道19466人，緯二路街道12954人，勝利街道27352人，延安街道23494人，黃莊街道19681人，小蚌埠街道2494人。

2004年1月10日，國務(wù)院（國函[2004]4號）批準(zhǔn)同意調(diào)整蚌埠市部分行政區(qū)劃：中市區(qū)更名為蚌山區(qū)；蚌山區(qū)轄原中市區(qū)的天橋、青年、緯二路、勝利和黃莊5個街道；原東市區(qū)的宏業(yè)村、龍湖新村2個街道及煙墩村；原西市區(qū)朝陽街道的新建、東方紅2個居委會，釣魚臺街道的友誼、雅郢2個居委會和施徐村；原郊區(qū)的燕山鄉(xiāng)，雪華鄉(xiāng)的邱橋、紀(jì)郭、沈圩3個村，長青鄉(xiāng)的陶店、金圩2個村，秦集鎮(zhèn)的仲集村。區(qū)人民政府駐南山路。將原中市區(qū)的延安街道劃歸龍子湖區(qū)管轄；淮濱街道劃歸淮上區(qū)管轄。

2004年末，蚌山區(qū)轄天橋、青年、緯二路、勝利、黃莊、宏業(yè)村、龍湖新村7個街道，雪華、燕山2個鄉(xiāng)。

2010年第六次人口普查，蚌山區(qū)常住總?cè)丝?34426人，其中：天橋街道9661人，青年街道20458人，緯二路街道19191人，黃莊街道35462人，宏業(yè)村街道22113人，勝利街道35187人，龍湖街道21365人，湖濱社區(qū)行政事務(wù)管理中心65232人，淮河社區(qū)行政事務(wù)管理中心47541人，燕山鄉(xiāng)35795人，雪華鄉(xiāng)22421人。