魯山，古稱魯陽。周初屬魯國，西漢置魯陽縣，北周改魯山縣至今。縣東北十八里有魯山。據《讀史方輿紀要》：“山高聳，回生群山，為一邑巨鎮，縣以此名。”民國31年（1942）4月至民國33年（1944年）3月，國民黨河南省政府、省黨部、省參議會等部門遷駐魯山。1947年11月至1949年2月，中共豫陜鄂邊區和豫西區黨、政軍領導機關又先后駐此。這一時期，魯山縣成為豫陜鄂邊區、豫西區政治、經濟、文化的中心。1983年由許昌地區劃歸平頂山市。

1996年，魯山縣面積2432平方千米，人口80萬人。轄5個鎮、17個鄉：魯陽鎮、下湯鎮、梁洼鎮、張良鎮、張官營鎮、二郎廟鄉、土門鄉、馬樓鄉、瓦屋鄉、倉頭鄉、四棵樹鄉、觀音寺鄉、雞冢鄉、辛集鄉、張店鄉、趙村鄉、背孜鄉、昭平臺庫區鄉、董周鄉、熊背鄉、磙子營鄉、瀼河鄉。縣政府駐魯陽鎮。

2000年第五次人口普查數據：魯山縣總人口822541人，其中：魯陽鎮57452人、下湯鎮32674人、梁洼鎮36951人、張官營鎮57017人、張良鎮52591人、堯山鎮19277人、趙村鄉24889人、四棵樹鄉15046人、雞冢鄉13311人、熊北鄉20924人、瀼河鄉46400人、瓦屋鄉30147人、觀音寺鄉23505人、土門鄉8513人、背孜鄉14718人、倉頭鄉22317人、董周鄉54500人、張店鄉78552人、辛集鄉47341人、磙子營鄉64075人、馬樓鄉80617人、昭平臺庫區鄉21724人。

2005年，魯山縣鄉鎮區劃調整：撤銷土門鄉，并入背孜鄉管轄，背孜鄉政府駐地不變。調整后，魯山縣轄6個鎮、15個鄉：魯陽鎮、下湯鎮、梁洼鎮、張良鎮、張官營鎮、堯山鎮；張店鄉、辛集鄉、熊背鄉、瀼河鄉、瓦屋鄉、趙村鄉、董周鄉、倉頭鄉、馬樓鄉、雞冢鄉、背孜鄉、磙子營鄉、觀音寺鄉、四棵樹鄉、昭平臺庫區鄉。（558個行政村）

根據河南省民政廳《關于撤銷魯山縣魯陽鎮調整張店鄉董周鄉行政區劃設立露峰等四個街道辦事處的批復》（豫民行批[2006]9號）和平頂山市人民政府的批復精神，魯山縣政府決定撤銷魯陽鎮，調整張店鄉、董周鄉部分行政區劃，設立露峰、琴臺、魯陽、匯源4個街道辦事處；將原魯陽鎮所轄區域以及張店鄉的詹營、董周鄉的五里頭等22個行政村劃入城區。

調整后，全縣轄4個街道、5個鎮、15個鄉：露峰街道、琴臺街道、魯陽街道、匯源街道、下湯鎮、梁洼鎮、張官營鎮、張良鎮、堯山鎮、趙村鄉、四棵樹鄉、團城鄉、熊背鄉、瀼河鄉、瓦屋鄉、觀音寺鄉、昭平臺庫區鄉、背孜鄉、倉頭鄉、董周鄉、張店鄉、辛集鄉、磙子營鄉、馬樓鄉。縣政府駐魯陽街道。