秦屬泗水郡鹿上縣；漢改鹿上為原鹿（治所在今公橋阮城），后被原鹿與富陂兩侯國(guó)分領(lǐng)；三國(guó)時(shí)期隸屬富陂縣，晉為原鹿縣；南北朝劃歸汝陰郡；隋、唐至五代為潁州治下，宋改潁州府為順昌府，置焦陂（今焦陂集）、永安二鎮(zhèn)。
元屬河南行省汝寧府潁水縣（治所在今地里城），后并入潁州。明為鳳陽(yáng)府潁州所領(lǐng)；清雍正二年升潁州為直隸州，清雍正十三年年升為府，原潁州改為阜陽(yáng)縣。民國(guó)時(shí)期今縣境為阜陽(yáng)縣之三（焦陂）、六（地城）兩區(qū)轄地。
1947年11月，中國(guó)人民解放軍開(kāi)辟阜陽(yáng)南鄉(xiāng)，曾設(shè)立阜南縣。1949年2月析阜陽(yáng)、潁上、臨泉三縣地設(shè)立阜南辦事處。1950年7月改辦事處為阜南縣，因在阜陽(yáng)之南故名，隸屬阜陽(yáng)專區(qū)，轄原阜陽(yáng)之趙集、苗集、于集、公橋和原臨泉之方集，原潁上之黃崗共六區(qū)。1952年阜陽(yáng)之柴集、許堂、朱寨三區(qū)劃歸阜南縣。
1990年第四次人口普查，全縣共有311875戶，1284531人。
1996年，阜南縣面積1816平方千米，人口139.5萬(wàn)人，其中農(nóng)業(yè)人口130.3萬(wàn)人。轄20個(gè)鎮(zhèn)、11個(gè)鄉(xiāng)：城關(guān)鎮(zhèn)、方集鎮(zhèn)、中崗鎮(zhèn)、曹集鎮(zhèn)、田集鎮(zhèn)、柴集鎮(zhèn)、袁集鎮(zhèn)、趙集鎮(zhèn)、苗集鎮(zhèn)、黃崗鎮(zhèn)、新村鎮(zhèn)、朱寨鎮(zhèn)、張寨鎮(zhèn)、焦陂鎮(zhèn)、王化鎮(zhèn)、王堰鎮(zhèn)、地城鎮(zhèn)、王家壩鎮(zhèn)、洪河橋鎮(zhèn)、三塔集鎮(zhèn)、王店孜鄉(xiāng)、城郊鄉(xiāng)、公橋鄉(xiāng)、郜臺(tái)鄉(xiāng)、許堂鄉(xiāng)、會(huì)龍鄉(xiāng)、龍王鄉(xiāng)、柳溝鄉(xiāng)、段郢鄉(xiāng)、于集鄉(xiāng)、老觀鄉(xiāng)。共有753個(gè)行政村。縣政府駐城關(guān)鎮(zhèn)。
2000年第五次人口普查，全縣總?cè)丝?272431人，其中：城關(guān)鎮(zhèn)99827人，方集鎮(zhèn)27823人，中崗鎮(zhèn)30921人，柴集鎮(zhèn)53189人，新村鎮(zhèn)45291人，三塔集鎮(zhèn)53019人，朱寨鎮(zhèn)57836人，袁集鎮(zhèn)38626人，趙集鎮(zhèn)37992人，田集鎮(zhèn)43651人，苗集鎮(zhèn)44449人，黃崗鎮(zhèn)43182人，焦陂鎮(zhèn)49986人，張寨鎮(zhèn)43101人，王堰鎮(zhèn)39694人，洪河橋鎮(zhèn)51370人，地城鎮(zhèn)30552人，王家壩鎮(zhèn)22982人，王化鎮(zhèn)28514人，曹集鎮(zhèn)36140人，王店孜鄉(xiāng)40485人，許堂鄉(xiāng)50341人，會(huì)龍鄉(xiāng)35665人，柳溝鄉(xiāng)32517人，段郢鄉(xiāng)45389人，公橋鄉(xiāng)40537人，龍王鄉(xiāng)23737人，于集鄉(xiāng)23169人，老觀鄉(xiāng)27328人，郜臺(tái)鄉(xiāng)42814人，城郊鄉(xiāng)32304人。
2004年底，阜南縣總面積1929平方千米（根據(jù)《簡(jiǎn)冊(cè)》），總?cè)丝?52萬(wàn)人，轄21個(gè)鎮(zhèn)、10個(gè)鄉(xiāng)：城關(guān)鎮(zhèn)、方集鎮(zhèn)、中崗鎮(zhèn)、柴集鎮(zhèn)、新村鎮(zhèn)、三塔集鎮(zhèn)、朱寨鎮(zhèn)、袁集鎮(zhèn)、趙集鎮(zhèn)、田集鎮(zhèn)、苗集鎮(zhèn)、黃崗鎮(zhèn)、焦陂鎮(zhèn)、張寨鎮(zhèn)、王堰鎮(zhèn)、地城鎮(zhèn)、洪河橋鎮(zhèn)、王家壩鎮(zhèn)、王化鎮(zhèn)、曹集鎮(zhèn)、柳溝鎮(zhèn)、王店孜鄉(xiāng)、許堂鄉(xiāng)、會(huì)龍鄉(xiāng)、城郊鄉(xiāng)、段郢鄉(xiāng)、公橋鄉(xiāng)、龍王鄉(xiāng)、于集鄉(xiāng)、老觀鄉(xiāng)、郜臺(tái)鄉(xiāng)；阜蒙農(nóng)場(chǎng)。
2006年，經(jīng)安徽省政府同意，安徽省民政廳《關(guān)于同意將阜南縣袁集鎮(zhèn)劃歸阜陽(yáng)市潁州區(qū)管轄的批復(fù)》文件批準(zhǔn)同意將阜南縣袁集鎮(zhèn)整建制劃歸潁州區(qū)管轄。10月10日，阜陽(yáng)市政府舉行交接會(huì)議，將阜南縣袁集鎮(zhèn)正式劃歸潁州區(qū)管轄。調(diào)整后的阜南縣轄29個(gè)鄉(xiāng)鎮(zhèn)，面積1768.4平方千米，人口149.93萬(wàn)人。
2006年，撤銷城關(guān)鎮(zhèn)、城郊鄉(xiāng)，合并設(shè)立鹿城鎮(zhèn)。12月27日，鹿城鎮(zhèn)正式成立，面積108.3平方千米，人口16.22萬(wàn)人。全縣轄20個(gè)鎮(zhèn)、9個(gè)鄉(xiāng)：鹿城鎮(zhèn)、方集鎮(zhèn)、中崗鎮(zhèn)、柴集鎮(zhèn)、新村鎮(zhèn)、三塔集鎮(zhèn)、朱寨鎮(zhèn)、趙集鎮(zhèn)、田集鎮(zhèn)、苗集鎮(zhèn)、黃崗鎮(zhèn)、焦陂鎮(zhèn)、張寨鎮(zhèn)、王堰鎮(zhèn)、地城鎮(zhèn)、洪河橋鎮(zhèn)、王家壩鎮(zhèn)、王化鎮(zhèn)、曹集鎮(zhèn)、柳溝鎮(zhèn)、王店孜鄉(xiāng)、許堂鄉(xiāng)、會(huì)龍鄉(xiāng)、段郢鄉(xiāng)、公橋鄉(xiāng)、龍王鄉(xiāng)、于集鄉(xiāng)、老觀鄉(xiāng)、郜臺(tái)鄉(xiāng)。
2012年2月23日，安徽省民政廳下發(fā)《關(guān)于同意阜南縣會(huì)龍鄉(xiāng)撤鄉(xiāng)建鎮(zhèn)的批復(fù)》，經(jīng)省政府同意，撤銷會(huì)龍鄉(xiāng)設(shè)立會(huì)龍鎮(zhèn)。調(diào)整后，全縣轄21個(gè)鎮(zhèn)、8個(gè)鄉(xiāng)。