原為鳳臺縣金石鄉(xiāng),1949年設(shè)八公山鎮(zhèn)。1953年撤鎮(zhèn)設(shè)八公山區(qū)。
1996年,八公山區(qū)面積73平方千米,人口16.4萬,轄3個街道、2個鎮(zhèn):新莊孜街道、土壩孜街道、畢家崗街道、八公山鎮(zhèn)、山王鎮(zhèn),48個居委會、19個村委會。區(qū)政府駐新莊孜。
2000年第五次人口普查,全區(qū)總?cè)丝?66452人,其中:新莊孜街道52748人,土壩孜街道26658人,畢家崗街道21161人,山王鎮(zhèn)49406人,八公山鎮(zhèn)16479人。
2004年底,八公山區(qū)轄3個街道、2個鎮(zhèn):八公山鎮(zhèn)、山王鎮(zhèn),土壩孜街道、新莊孜街道、畢家崗街道。