因在汝河之南，故名。漢為汝陽，似為后來河水改道所置。一說西漢置汝南郡，因轄區(qū)大部分在汝河流域南部，故名。隋置汝陽縣。1913年改為汝南縣，1950年改汝南市，1951年撤市復(fù)縣。

1996年?，汝南縣面積1580平方千米，人口80萬人。轄6個鎮(zhèn)、15個鄉(xiāng)：汝寧鎮(zhèn)、王崗鎮(zhèn)、馬鄉(xiāng)鎮(zhèn)、和孝鎮(zhèn)、老君廟鎮(zhèn)、留盆鎮(zhèn)、三門閘鄉(xiāng)、三里店鄉(xiāng)、張崗鄉(xiāng)、南余店鄉(xiāng)、三橋鄉(xiāng)、王莊鄉(xiāng)、常興鄉(xiāng)、舍屯鄉(xiāng)、官莊鄉(xiāng)、韓莊鄉(xiāng)、水屯鄉(xiāng)、羅店鄉(xiāng)、張樓鄉(xiāng)、金鋪鄉(xiāng)、板店鄉(xiāng)。縣政府駐汝寧鎮(zhèn)。

？年，撤銷金鋪鄉(xiāng)，設(shè)立金鋪鎮(zhèn)。調(diào)整后，汝南縣轄7個鎮(zhèn)、14個鄉(xiāng)。

2000年第五次人口普查，汝南縣常住總?cè)丝?84005人，其中：汝寧鎮(zhèn)53702人、王崗鎮(zhèn)19861人、馬鄉(xiāng)鎮(zhèn)44497人、和孝鎮(zhèn)31109人、老君廟鎮(zhèn)42055人、留盆鎮(zhèn)52988人、金鋪鎮(zhèn)45835人、水屯鎮(zhèn)62450人、三門閘鄉(xiāng)55763人、三里店鄉(xiāng)41175人、三橋鄉(xiāng)58857人、張崗鄉(xiāng)19708人、南余店鄉(xiāng)21003人、大王莊鄉(xiāng)24364人、常興鄉(xiāng)26725人、官莊鄉(xiāng)21727人、舍屯鄉(xiāng)20745人、韓莊鄉(xiāng)33517人、羅店鄉(xiāng)45344人、張樓鄉(xiāng)31518人、板店鄉(xiāng)31062人。

2001年12月25日，經(jīng)國務(wù)院批準(zhǔn)（國函[2001]172號）將汝南縣的水屯鄉(xiāng)劃歸駐馬店市驛城區(qū)管轄。

2005年，汝南縣鄉(xiāng)鎮(zhèn)行政區(qū)劃調(diào)整：撤銷張崗鄉(xiāng)，將其行政區(qū)域劃歸王崗鎮(zhèn)管轄，王崗鎮(zhèn)政府駐地不變；撤銷舍屯鄉(xiāng)，將其行政區(qū)域劃歸官莊鄉(xiāng)管轄，官莊鄉(xiāng)政府駐地不變；撤銷王莊鄉(xiāng)，將其行政區(qū)域劃歸常興鄉(xiāng)管轄，常興鄉(xiāng)政府駐地不變。調(diào)整后，汝南縣轄7個鎮(zhèn)、10個鄉(xiāng)：汝寧鎮(zhèn)、和孝鎮(zhèn)、馬鄉(xiāng)鎮(zhèn)、留盆鎮(zhèn)、王崗鎮(zhèn)、金鋪鎮(zhèn)、老君廟鎮(zhèn)；三門閘鄉(xiāng)、三橋鄉(xiāng)、三里店鄉(xiāng)、南余店鄉(xiāng)、常興鄉(xiāng)、官莊鄉(xiāng)、韓莊鄉(xiāng)、羅店鄉(xiāng)、張樓鄉(xiāng)、板店鄉(xiāng)。

2007年，根據(jù)河南省民政廳（豫民行批[2007]3號）和駐馬店市民政局的批復(fù)精神，同意汝南縣馬鄉(xiāng)鎮(zhèn)更名為梁祝鎮(zhèn)。原馬鄉(xiāng)鎮(zhèn)行政區(qū)域，整體劃歸梁祝鎮(zhèn)管轄。

2009年，經(jīng)省政府批準(zhǔn)，撤銷汝寧鎮(zhèn)、三里店鄉(xiāng)、三門閘鄉(xiāng)，設(shè)立汝寧、古塔、三門閘3個街道。2010年1月26日，正式撤銷汝寧鎮(zhèn)，設(shè)立汝寧街道；撤銷三門閘鄉(xiāng)，設(shè)立三門閘街道；撤銷三里店鄉(xiāng)，設(shè)立古塔街道；撤銷官莊鄉(xiāng)，設(shè)立東官莊鎮(zhèn)。

2010年第六次人口普查，汝南縣常住總?cè)丝?69995人，其中：汝寧街道111475人，三門閘街道53117人，古塔街道69185人，王崗鎮(zhèn)40883人，梁祝鎮(zhèn)36950人，和孝鎮(zhèn)30621人，老君廟鎮(zhèn)42407人，留盆鎮(zhèn)49004人，金鋪鎮(zhèn)41168人，東官莊鎮(zhèn)42730人，三橋鄉(xiāng)55305人，南余店鄉(xiāng)20671人，常興鄉(xiāng)47510人，韓莊鄉(xiāng)33296人，羅店鄉(xiāng)46167人，張樓鄉(xiāng)26116人，板店鄉(xiāng)23390人。

2011年，常興、羅店撤鄉(xiāng)設(shè)鎮(zhèn)。2012年，韓莊、三橋、張樓撤鄉(xiāng)設(shè)鎮(zhèn)。調(diào)整后，全縣轄3個街道、12個鎮(zhèn)、2個鄉(xiāng)：汝寧街道、三門閘街道、古塔街道、王崗鎮(zhèn)、梁祝鎮(zhèn)、和孝鎮(zhèn)、老君廟鎮(zhèn)、留盆鎮(zhèn)、金鋪鎮(zhèn)、東官莊鎮(zhèn)、常興鎮(zhèn)、羅店鎮(zhèn)、韓莊鎮(zhèn)、三橋鎮(zhèn)、張樓鎮(zhèn)、南余店鄉(xiāng)、板店鄉(xiāng)。縣政府駐汝寧街道。

2014年7月6日，經(jīng)河南省政府批準(zhǔn)，省民政廳（豫民行批[2014]29號）批復(fù)同意汝南縣將老君廟鎮(zhèn)的孫屯、孫沿2建制村析出，同古塔街道辦事處的宋莊、十里鋪、五里崗、祝灣和三門閘街道辦事處的黃廟、桃園鋪、陳坡、高莊、白廟9建制村（居委會）合并設(shè)立街道辦事處。設(shè)立街道辦事處具體事宜由駐馬店市政府按照《河南省街道辦事處設(shè)置有關(guān)規(guī)定》進(jìn)行審批，并將批準(zhǔn)結(jié)果報河南省民政廳備案。

2014年，老君廟鎮(zhèn)被列為全國重點鎮(zhèn)。