古代有個“葉公好龍”的故事。葉公名叫沈諸粱，字子高，是春秋時的楚國大夫。他曾經平定白公勝的叛亂，穩定了楚國政局，采食于此，稱葉公。葉，舊讀“涉”，即今葉縣。戰國葉一度屬韓，秦伐楚取葉后，改葉邑為葉陽邑；戰國后期，魏于葉陽北置昆陽，后亦屬秦。秦統一六國后，葉陽屬南陽郡，昆陽屬穎川郡。三國時期，葉縣、昆陽均屬魏。

晉，葉屬南陽國。南北朝時北齊廢昆陽。金初劉豫建齊，齊阜昌七年，繼葉縣治于昆陽。后世葉縣一直治古昆陽城。元、明、清三朝，葉縣均屬南陽府。民國二年（1913年），葉縣屬豫南道。民國24年（1935年），屬南陽行政督察區。1947年11月，葉縣解放，建立人民政權，屬豫西行政公署。1949年2月改屬許昌專區。1983年12月葉縣改屬平頂山市。

1996年，葉縣面積1381.4平方千米，人口約82萬人。轄4個鎮、14個鄉：昆陽鎮、任店鎮、仙臺鎮、保安鎮、馬莊回族鄉、城關鄉、夏李鄉、舊縣鄉、水寨鄉、鄧李鄉、遵化店鄉、洪莊楊鄉、龔店鄉、常村鄉、廉村鄉、田村鄉、辛店鄉、龍泉鄉。縣政府駐昆陽鎮。

2000年第五次人口普查，葉縣常住總人口838691人，其中：昆陽鎮45204人、任店鎮61942人、保安鎮40975人、仙臺鎮62280人、遵化店鎮31198人、城關鄉60635人、夏李鄉48573人、常村鄉46689人、馬莊回族鄉10497人、田莊鄉41076人、舊縣鄉59795人、辛店鄉45418人、龍泉鄉46676人、水寨鄉36873人、廉村鄉63436人、鄧李鄉49087人、龔店鄉51819人、洪莊楊鄉36518人。

2005年末，葉縣轄5個鎮、13個鄉：昆陽鎮、任店鎮、保安鎮、遵化店鎮、仙臺鎮；城關鄉、鄧李鄉、舊縣鄉、龔店鄉、田莊鄉、夏李鄉、辛店鄉、龍泉鄉、廉村鄉、洪莊楊鄉、馬莊回族鄉、水寨鄉、常村鄉。

2008年，撤銷廉村鄉、舊縣鄉，設立廉村鎮、葉邑鎮。2011年，常村鄉、辛店鄉撤鄉設鎮。調整后，全縣轄9個鎮、9個鄉（其中1個民族鄉）：昆陽鎮、任店鎮、保安鎮、仙臺鎮、遵化店鎮、葉邑鎮、廉村鎮、常村鎮、辛店鎮、城關鄉、夏李鄉、馬莊回族鄉、田莊鄉、龔店鄉、龍泉鄉、水寨鄉、洪莊楊鄉、鄧李鄉。

2010年第六次人口普查，葉縣常住總人口777203人，其中：昆陽鎮50437人，任店鎮59748人，保安鎮32176人，仙臺鎮50921人，遵化店鎮30766人，葉邑鎮58483人，廉村鎮54740人，城關鄉69007人，夏李鄉40919人，常村鄉36693人，馬莊回族鄉10874人，田莊鄉36292人，龔店鄉50851人，辛店鄉47277人，龍泉鄉44654人，水寨鄉30779人，洪莊楊鄉33297人，鄧李鄉39289人。

2014年7月6日，經河南省政府批準，省民政廳（豫民行批[2014]28號）批復同意撤銷葉縣昆陽鎮、城關鄉2建制鄉鎮，對其原轄行政區域實行城市管理體制。街道辦事處設立具體事宜由平頂市按照《河南省街道辦事處設置有關規定》進行審批，審批結果報河南省民政廳備案。

2014年，任店鎮、常村鎮被列為全國重點鎮。