上古時代因地跨黃河，今轄區(qū)分屬冀、兗二州。饒、昌、武城、武羅均系境內主要封邑方國。春秋時期多歸晉國。戰(zhàn)國時代為燕、趙之地。秦屬鉅鹿郡。漢屬冀州刺史部，先后設有廣川國、信都國和安平國，今轄縣市區(qū)多為此時建置。三國時系魏國冀州域，冀州治自鄴始移信都，境內分屬安平、博陵、渤海三郡。

晉代仍為冀州所轄。隋時，南部屬冀州，北部屬公元596年所置深州。唐代屬河北道。宋初冀州屬河北東路，深州屬河北西路。元初，觀州治所移至縣城(今景縣城)，并于1265年復稱景州。此后直至明、清，先后為中書省、京師、直隸省所轄，境內仍由冀、深、景三州分領。

民國初期，各州皆改為縣，直隸于省。至1914年，今轄區(qū)分屬大名道、保定道、津海道管理。1928年，直隸省改稱河北省，同時廢道，各縣直隸于省。 1937年抗日戰(zhàn)爭爆發(fā)后，今轄區(qū)分屬中國共產(chǎn)黨領導的晉察冀邊區(qū)之冀中區(qū)和晉冀魯豫邊區(qū)之冀南區(qū)。1948年5月，兩邊區(qū)合并改稱華北行政區(qū)。

1949年8月1日始設衡水專區(qū)，轄原冀南、冀中兩區(qū)之部分縣域，包括衡水、冀縣、棗強、武邑、深縣、武強、清河、恩縣、夏津、武城、故城、景縣、阜城等13縣，屬新建立的河北省。1952年11月7日，奉華北行政委員會之命撤銷衡水專區(qū)，其轄區(qū)之夏津、恩縣、武城3縣劃歸山東省，衡水、深縣、武強、武邑、棗強、冀縣6縣劃歸石家莊專區(qū)，景縣、故城、阜城3縣劃歸滄縣專區(qū)，清河縣劃歸邢臺專區(qū)。

1962年6月27日，國務院批準衡水專區(qū)復置，下轄衡水、冀縣、棗強、武邑、深縣、武強、饒陽、安平、故城、景縣、阜城計11縣。1970年，衡水專區(qū)改稱衡水地區(qū)。1982年1月，衡水鎮(zhèn)升為衡水市。1993年9月，冀縣改建為冀州市。1994年7月，深縣改建為深州市。

1996年5月31日，國務院批準撤銷衡水地區(qū)，改設地級衡水市，同時撤銷原縣級衡水市，改設桃城區(qū)。衡水市轄桃城區(qū)和棗強、武邑、武強、饒陽、安平、故城、景縣、阜城8縣，代管冀州、深州2個縣級市。市政府駐桃城區(qū)新華路。

2000年第五次人口普查，衡水市常住總人口4156913人，其中：桃城區(qū)422761人，棗強縣376990人，武邑縣319532人，武強縣212158人，饒陽縣293413人，安平縣322650人，故城縣451467人，景縣489817人，阜城縣325742人，冀州市373825人，深州市568558人。

2010年第六次人口普查，衡水市常住總人口4340773人，其中：桃城區(qū)522147人，棗強縣394469人，武邑縣315693人，武強縣214549人，饒陽縣280498人，安平縣328512人，故城縣487025人，景縣528693人，阜城縣341087人，冀州市362013人，深州市566087人。