隋開皇十八年（598年）改永陽縣為應山縣。以城東應臺山得名。大業二年（606年）廢應州，省平靖縣并入應山縣。唐朝武德四年（621年）復置應州，轄應山一縣。武德八年廢應州，省禮山縣并入應山縣，與吉陽縣同屬安州。宋開寶年間，省吉陽縣并入應山縣，屬安州。宣和元年（1119年）安州升為德安府，轄應山。明洪武十年（1377年）五月，應山縣并入隨縣，十三年五月復置。

1914年屬江漢道。1927年廢道，直屬湖北省。1932年屬第五行政督察區；1936年改屬第三行政督察區。1949年屬孝感專區，1959年屬武漢市，1961年復屬孝感專區，1970年屬孝感地區。1988年10月11日，國務院批準撤銷應山縣，設立廣水市（縣級）。1993年由孝感市代管。2000年6月25日，國務院批準將孝感市代管的廣水市劃歸地級隨州市代管。

1996年，廣水市面積2647平方千米，人口82萬人。轄3個街道、11個鎮、6個鄉：應山街道、廣水街道、十里街道、平林鎮、長嶺鎮、陳巷鎮、楊寨鎮、關廟鎮、余店鎮、蔡河鎮、東篁店鎮、吳家店鎮、郝店鎮、馬坪鎮、興隆鄉、城郊鄉、李店鄉、太平鄉、駱店鄉、寶林鄉。市政府駐應山。

2000年第五次人口普查，廣水市總人口885936人，其中：應山街道76543人，十里街道42585人，廣辦街道74795人，武勝關鎮39986人，楊寨鎮53804人，陳巷鎮52544人，平林鎮25912人，長嶺鎮51227人，馬坪鎮42142人，關廟鎮57300人，余店鎮40210人，吳店鎮29311人，郝店鎮35793人，蔡河鎮47110人，城郊鄉52021人，寶林鄉18517人，李店鄉42773人，太平鄉32682人，駱店鄉43865人，興隆鄉26816人。

2004年末，廣水市面積2647平方千米，人口890245人。轄3個街道、11個鎮、6個鄉，22個居委會、376個村委會。

2005年2月4日，《湖北省民政廳關于廣水市調整部分鄉鎮行政區劃的批復》（鄂民政發[2005]11號）：經省人民政府批準，同意廣水市調整下列鄉鎮行政區劃：（一）撤銷寶林鄉，將原寶林鄉的院子灣、華家尖、白水河3個村委會劃歸蔡河鎮管轄，其余行政區域劃歸十里街道辦事處管轄。（二）撤銷興隆鄉，將原興隆鄉的行政區域劃歸余店鎮管轄，鎮人民政府駐余店。（三）撤銷李店鄉，將原李店鄉的行政區域劃歸太平鄉管轄，鄉人民政府駐太平。（四）撤銷平林鎮，將原平林鎮的行政區域劃歸長嶺鎮管轄，鎮人民政府駐長嶺。

2005年末，廣水市轄3個街道、10個鎮、3個鄉。共有29個居委會、351個村委會。

2010年第六次人口普查，廣水市常住總人口755910人，其中：應山街道98587人，十里街道46666人，廣水街道75111人，武勝關鎮37010人，楊寨鎮36701人，陳巷鎮39236人，長嶺鎮66685人，馬坪鎮31221人，關廟鎮43906人，余店鎮49973人，吳店鎮22383人，郝店鎮26816人，蔡河鎮37773人，城郊鄉49269人，李店鄉30862人，太平鄉26629人，駱店鄉36236人，中華山林場128人，三潭風景區718人。

2014年，撤銷太平鄉，設立太平鎮（鄂民政函[2014]33號）；撤銷李店鄉，設立李店鎮（鄂民政函[2014]34號）。調整后，全市轄3個街道、12個鎮、2個鄉：應山街道、十里街道、廣水街道、武勝關鎮、楊寨鎮、陳巷鎮、長嶺鎮、馬坪鎮、余店鎮、關廟鎮、吳店鎮、郝店鎮、蔡河鎮、太平鎮、李店鎮、城郊鄉、駱店鄉。