平頂山以山峰平頂為名。境域古為豫州地，殷商時期，居住著應、桀部落。西周為武王宗室應侯封地，春秋戰國時期，分屬韓、魏、晉、鄭、楚。秦統一后，分屬穎川郡、三川郡和南陽郡；漢改三川郡為河南郡，北部仍屬穎川郡。晉析穎川置襄城郡，平頂山屬河南郡、襄城郡、南陽郡。南北朝時，先后分屬魯陽郡、襄城郡、南安郡、汝北郡、汝南郡、順陽郡、漢廣郡。北魏孝文帝太和元年（477年）置高陽縣，縣境有高陽山，縣治在今高陽里。隋朝時，分屬襄城郡和穎川郡。唐代先后分屬汝州、許州、襄城郡。宋元起至明清，平頂山境域分屬汝州、許州和裕州。民國初年屬河洛道、汝陽道，后分屬豫南道、豫東道、豫西道。

新中國成立后，平頂山地區分屬洛陽專區、許昌專區。1953年國家大規模開發平頂山煤田，1954年成立平頂山煤礦籌備處，1956年1月，成立中共平頂山礦區委員會，同年3月，成立許昌專員公署平頂山辦事處，下轄東高皇、大營、西高皇、井營四個鄉。1957年3月，經國務院批準，設立平頂山市，屬省直轄市，下轄二鎮四鄉，即諸葛廟鎮、西高皇鎮和大營鄉、東高皇鄉、井營鄉、姚孟鄉。1958年，市區設立了五個街道辦事處，城市建設開始起步。1960年撤銷寶豐縣，將原縣屬行政區域劃歸平頂山市，次年又恢復寶豐縣制，仍歸許昌專署領導。

1964年3月，平頂山市改為平頂山特區，實行雙重領導，以煤炭部領導為主，河南省領導為輔。1968年3月，恢復平頂山市，仍為省轄市。1969年設置新華區和衛東區。1971年建立西區。1977年舞鋼區劃歸平頂山市，1979年舞鋼區又劃歸許昌地區管轄。1982年，舞鋼區重新劃入平頂山市。1983年9月，分屬許昌地區的魯山、寶豐、葉縣三縣劃歸平頂山市管轄，1986年2月有將許昌地區的襄城縣和郟縣、洛陽地區的臨汝縣劃歸平頂山市。1988年6月，撤銷臨汝縣，設立汝州市。1990年9月，撤銷舞鋼區，設立舞鋼市。二市均為河南省計劃單列市，由平頂山市代管。

1994年8月10日，民政部批復（民行批[1994]118號）同意將平頂山市郊區更名為湛河區。1997年8月，襄城縣劃歸許昌市管轄。平頂山市面積8827平方千米，人口539萬，轄新華、衛東、湛河3區和葉縣、寶豐、魯山、郟縣4縣，代管汝州、舞鋼2個縣級市。1997年12月18日，國務院批準（國函[1997]111號）設立平頂山市石龍區。至此，全市轄四縣（魯山縣、寶豐縣、葉縣、郟縣）、四區（新華區、衛東區、湛河區、石龍區），代管汝州市、舞鋼市，全市共有99個鄉（鎮）、25個街道，299個居委會、2584個行政村。

2000年第五次人口普查，平頂山市常住總人口4804924人，其中：新華區337733人，衛東區274444人，石龍區53499人，湛河區235227人，寶豐縣473287人，葉縣838691人，魯山縣822541人，郟縣533168人，舞鋼市313089人，汝州市923245人。2000年底，全市總人口480萬人，其中非農業人口114萬人，農業人口366萬人。人口密度609人/平方千米。

2005年，平頂山市鄉鎮區劃調整，撤銷5個鄉：舞鋼市撤銷王店鄉，并入尚店鎮管轄，尚店鎮人民政府駐地不變；撤銷安寨鄉，并入棗林鄉管轄，棗林鄉人民政府駐地不變。魯山縣撤銷土門鄉，并入背孜鄉管轄，背孜鄉人民政府駐地不變。寶豐縣撤銷觀音堂鄉，并入大營鎮管轄，大營鎮人民政府駐地不變。石龍區撤銷南顧莊鄉，設立相應街道。撤并后，平頂山市全市有93個鄉鎮、39個街道；平均每個鄉鎮人口為5.19萬人，平均面積為84.75平方千米。

2005年末，平頂山市轄4個市轄區、4個縣，代管2個縣級市；全市共有37個街道、35個鎮、58個鄉。（與上面資料有2個街道差別）

2014年7月2日，經河南省政府批準，省民政廳（豫民行批[2014]24號）批復同意平頂市行政區劃作如下調整：將平頂山市湛河區高陽路街道管轄的小營建制村劃歸衛東區皇臺街道管轄。

2014年，寶豐縣石橋鎮，葉縣任店鎮、常村鎮，魯山縣下湯鎮，郟縣冢頭鎮、安良鎮、黃道鎮，舞鋼市尚店鎮、尹集鎮共9個鎮被列為全國重點鎮。