秦屬泗水郡。漢分屬洨（音淆，xiao）、虹、谷陽、符離、夏丘、下邳諸縣領轄。三國屬魏之下邳。西晉屬沛國；東晉屬陽平郡。南北朝改陽平郡為谷陽郡，又置連城、高昌二縣，本縣南郊隸屬連城縣。梁置臨潼郡，北齊廢為縣，后又置潼郡，轄今縣境北部。隋初屬彭城郡，后改屬下邳郡。唐初屬谷陽縣，隸徐州。顯慶元年（656），夏丘更為虹，廢谷陽入蘄縣，本縣分屬虹、蘄兩縣。元和四年（809），虹縣部分屬宿州，隸河南道。五代十國，本縣分屬宿州、泗州之地。
　　宋元祐元年（1086年）析虹縣之零璧鎮置零壁縣，同年七月復為鎮。元祐七年二月，零璧復為縣。（據《名勝志》：“以縣產磐石，珍之如壁，故名。”）政和七年（1117年）改為靈壁縣。屬宿州，隸淮南東路；建炎后沒于金。元初復立靈璧縣，屬宿州，隸河南歸德府。至元四年（1267）改屬泗州；十七年復屬宿州。明初屬宿州，洪武四年（1371），宿州改屬臨濠府；六年屬中立府；七年屬中書省鳳陽府；后屬鳳陽府，直屬南京。清順治二年（1645）改屬江南省鳳陽府；康熙六年（1667）改屬安徽省，先后屬鳳陽府、鳳潁六泗道管轄。
　　民國元年（1912）四月廢州設縣，本縣直屬安徽省。民國三年置道，屬淮泗道。十六年廢道，又直屬安徽省。二十一年，屬第六行政區。二十四年改為九個行政督察區，本縣屬第六督察區�？谷諔馉幤陂g，先后裁并改設8個專署，本縣屬第六專署。三十四年，屬第四行政區。
　　1948年11月25日，靈璧解放，屬江淮解放區第三行署。1949年4月21日改屬皖北行署宿縣專區。1952年4月12日改屬安徽省宿縣專區，1956年元月12日改屬安徽省蚌埠專區。1961年4月13日，本縣屬宿縣專區（1971年3月29日改為宿縣地區，現為宿州市），隸屬關系未變。

　　本縣自置縣至元代，縣境區域無考。至明嘉靖年間，縣域東至虹縣界河北35里，西至宿州界大店60里，南至五河界潼河140里，北至徐州界雙溝140里；東到虹縣60里，西到宿州120里，南到臨淮縣180里，北到徐州180里，東南到五河縣120里，西南到懷遠縣180里，東北到睢寧縣150里，西北到蕭縣220里；南到南京陸路527里，水路966里，北到北京陸路1883里，水路2310里。
　　清乾隆年間，縣境東西70里，南北270里。縣城東至虞姬墓15里，與本府虹縣交界；東北至潼郡集90里，與徐州府睢寧縣交界，至楊家橋100里，與徐州府邳州交界；北至黃河120里，與徐州府銅山縣交界；西北至梅山120里，與徐州府蕭縣交界；西至宿靈庵55里，與本府宿州交界；西南至曹老集120里，與本府懷遠縣交界；南至淮河150里，與本府鳳陽縣交界；東南至喬家集90里，與泗州五河縣交界。
　　民國期間，本縣區域略有變動。至1949年，全縣總面積為2364平方千米。
　　中華人民共和國建立后，本縣區域縮小。1955年底，先后將九頂、馮廟、城關3區的23個自然村劃歸睢寧縣和泗縣管轄，縣境面積為2288平方千米。1965年7月，以沱河為界，將河南的一個鎮、5個人民公社劃出，歸新置的固鎮縣管轄。

　　1997年，靈壁縣面積2086平方千米，人口104.8萬，轄13鎮8鄉：靈城鎮、韋集鎮、黃灣鎮、婁莊鎮、楊疃鎮、尹集鎮、澮溝鎮、尤集鎮、下樓鎮、朝陽鎮、漁溝鎮、高樓鎮、馮廟鎮、長集鄉、朱集鄉、大路鄉、大廟鄉、禪堂鄉、靈西鄉、虞姬鄉、向陽鄉�？h政府駐靈城鎮。
　　2000年第五次人口普查，全縣總人口1051325人，其中：靈城鎮57730人，韋集鎮46373人，黃灣鎮44831人，婁莊鎮43492人，楊疃鎮63077人，尹集鎮65032人，澮溝鎮44860人，尤集鎮47876人，下樓鎮61431人，朝陽鎮67481人，漁溝鎮59036人，高樓鎮63582人，馮廟鎮67189人，向陽鄉37589人，長集鄉26848人，朱集鄉38699人，大路鄉35571人，大廟鄉45219人，禪堂鄉45244人，虞姬鄉41985人，靈西鄉48180人。
　　2004年，靈璧縣鄉鎮由21個調整為19個。共有524個行政村（另一數據為514個）、4個居委會。2005年2月，正式調整鄉鎮區劃，撤銷靈西鄉、長集鄉建制，分別并入婁莊鎮、靈城鎮。靈壁縣轄13個鎮、6個鄉。2004年，全縣總人口115.62萬人。
　　2005年，靈壁縣進行行政村區劃調整。2010年9月，將靈城鎮葉廟村、十里村及禪堂鄉三張村委托給縣經濟開發區管轄。另將婁莊鎮婁莊村、漁溝鎮漁溝村、尹集鎮尹集村撤村設居。