唐天寶四年（公元745年）設立太平縣。1983年12月1日，國務院批準同意撤銷太平縣，設立縣級黃山市，因在黃山之北，故名。以原太平縣、歙縣的黃山公社、石臺縣的廣陽公社的行政區域和黃山管理局現有轄區為黃山市行政區域，由安徽省直接管轄。1987年11月27日，國務院批準：撤銷屯溪市、黃山市，設立黃山市（地級）；設立黃山市黃山區，以原黃山市為其行政區域。

　　1997年，黃山區面積1669平方千米，人口16萬，轄6鎮13鄉：甘棠鎮、平湖鎮、仙源鎮、焦村鎮、譚家橋鎮、湯口鎮、郭村鄉、賢村鄉、耿城鄉、三口鄉、新豐鄉、廣陽鄉、永豐鄉、新華鄉、龍門鄉、新明鄉、清溪鄉、烏石鄉。區政府駐甘棠鎮。
　　2000年第五次人口普查，全區總人口159845人，其中（1個街道、7個鎮、12個鄉）：新城街道18747人，甘棠鎮19235人，仙源鎮11034人，湯口鎮13857人，譚家橋鎮8317人，太平湖鎮6135人，焦村鎮9193人，耿城鎮8354人，三口鄉8744人，新明鄉6930人，龍門鄉5031人，賢村鄉3321人，郭村鄉2644人，烏石鄉6809人，桃源鄉2697人，清溪鄉2435人，新華鄉6052人，新豐鄉6247人，永豐鄉6261人，廣陽鄉3854人，黃山風景區虛擬鎮3948人。
　　2004年底，黃山區轄1個街道、8個鎮、11個鄉。
　　2006年，黃山區行政區劃部分調整：撤銷廣陽鄉、清溪鄉、桃源鄉、賢村鄉、郭村鄉，將原廣陽鄉整建制并入太平湖鎮；太平湖管委會和太平湖鎮進行合署，實行四塊牌子，一套人馬；將原清溪鄉、桃源鄉整建制并入烏石鄉；將原郭村鄉、賢村鄉整建制并入焦村鎮，保留甘棠鎮、耿城鎮、湯口鎮、譚家橋鎮、三口鎮、仙源鎮、新明鄉、龍門鄉、新華鄉、永豐鄉、新豐鄉，調整后，全區現有19個鄉鎮撤并為14個，撤并率為26%，撤并后鄉鎮平均人口由原來的0.85萬人增加到1.15萬人，平均面積由原來的93平方千米擴大到127平方千米。