隋開皇十六年（596年）析龍岡縣南境置沙河縣，以境內橫貫東西的大沙河而得名。據《元和郡縣志》稱“以沙河在縣南五里，因以為名”。1987年2月，經國務院批準撤縣設市。

1996年，全市面積960平方千米，人口44萬人。轄5個街道、5個鎮、5個鄉：褡褳街道、橋東街道、橋西街道、周莊街道、贊善街道、沙河城鎮、綦村鎮、十里亭鎮、白塔鎮、新城鎮、留村鄉、柴關鄉、冊井鄉、劉石崗鄉、蟬房鄉。

2000年第五次人口普查，沙河市常住總人口474260人，其中：褡褳街道36443人，橋東街道39077人，橋西街道20623人，贊善街道31286人，周莊街道15166人，沙河城鎮37573人，新城鎮41546人，白塔鎮44433人，十里亭鎮25470人，綦村鎮31075人，留村鄉47827人，冊井鄉25760人，劉石崗鄉24297人，柴關鄉16948人，蟬房鄉15685人，第廿冶金建設公司15281人，華北冶金礦山建設公司5770人。

2002年，沙河市面積970平方千米，人口45萬人。轄5個街道、5個鎮、5個鄉，10個社區、290個行政村。

2010年第六次人口普查，沙河市常住總人口498416人，其中：褡褳街道57875人，橋東街道53317人，橋西街道21087人，贊善街道34169人，周莊街道15774人，沙河城鎮37722人，新城鎮41288人，白塔鎮47009人，十里亭鎮28711人，綦村鎮29927人，留村鄉49543人，冊井鄉25754人，劉石崗鄉24204人，柴關鄉15829人，蟬房鄉16207人。

2014年3月3日，省民政廳（冀民函[2014]16號）批復批復留村鄉撤鄉設鎮（5月6日正式實施）。調整后，全市轄5個街道、6個鎮、4個鄉：褡褳街道、橋東街道、橋西街道、贊善街道、周莊街道、新城鎮、白塔鎮、十里亭鎮、綦村鎮、沙河城鎮、留村鎮、冊井鄉、劉石崗鄉、柴關鄉、蟬房鄉（其中，沙河城鎮、留村鎮由邢臺經濟開發區管理）。