公元前21世紀，商湯十一世祖相土為進一步向東擴張，由商丘遷徙至此。此后，山即為相山、城即為相城。周，相屬宋。戰國時期（公元前286年），齊、楚、魏滅宋，相歸楚國。秦始皇三十三年（公元前224年）在相城和今臨渙鎮分設相縣、縣，同屬泗水郡，相城為郡治所在地。
　　 漢高祖四年（公元前203年）改泗水郡為沛郡，郡治相城。王莽改相縣為吾符亭，沛郡改為吾符郡。東漢建武二十年（公元44年）改沛郡為沛國，國都相城。三國時，相城屬魏，相縣和縣先后屬汝陰郡，歸豫州。西晉太康二年（281年），復置沛國，建都相縣。東晉皇室南渡，相縣先后歸趙、前燕，歸屬屢有更易。南北朝時，相縣先后歸屬宋、北魏、北齊，屬徐州沛郡。天保七年（556年），北齊廢相縣為相城鄉，屬符離縣，縣歸梁時改為臨渙縣，北魏時改為渙北縣，北齊時復稱臨渙縣。
　　唐朝，市境分屬徐州之蕭縣，宿州之符離縣、臨渙縣、蘄縣。相地漸趨衰落，成為邊遠閑塞之地相城孜。民國元年（1912年），市境分屬安徽省宿縣和江蘇省蕭縣。1948年11月，市境解放。1949年6月，市境分屬華東局皖北行政公署宿縣和蕭縣。1953年2月，市境分屬濉溪縣和蕭縣。
　　1958年5月開發淮北煤田，成立淮北煤礦籌備處。1960年4月，以蕭縣和濉溪縣部分地區設立濉溪市，由省直轄。1971年4月，更為淮北市（因地處淮河北，與淮南相對，故名）。1977年2月，宿縣地區所轄濉溪縣劃歸淮北市管轄。1981年從蕭縣劃入部分礦區。
　　1997年，面積2714平方千米，人口172萬，市府駐相山區淮海路。轄相山、烈山、杜集3區和濉溪縣。
　　2000年第五次全國人口普查，淮北市總人口1878164人；杜集區293910人、相山區299663人、烈山區147622人、濉溪縣1136969人。　　2004年8月下旬，淮北市調整了部分鄉鎮行政區劃。濉溪縣撤并3個鄉鎮，同時將其中一個新合并的鎮劃歸市屬烈山區；相山區的一個鎮改設為街道辦事處，同時將濉溪縣的3個自然村劃歸相山區。淮北市鄉鎮數由33個減少到27個、減幅為18.2%，鄉鎮平均人口由原來的4.58萬人增加到5.53萬人；濉溪縣人口由121.2萬減至113.5萬，24個鄉鎮減為20個。2004年底，全市轄15個街道、21個鎮、7個鄉。
　　2004年末，總面積2725平方千米，占全省總面積1.95%，其中濉溪縣2399平方千米，市區371平方千米（城區建成區64.2平方千米）。全市有居民家庭575179戶，總人口2093906人。全市農業人口為1284958人，非農業人口為808948人，占總人口的比重分別為61.4%和38.6%。2004年淮北市共撤并3個鄉鎮，2個鎮改設為街道辦事處，鄉鎮數由2003年的33個下降到28個。調整后，全市有20個鎮、8個鄉、15個街道辦事處。相山區轄渠溝鎮、任圩、三堤口、東山、相山東、相南、相山西、劉橋7個街道辦事處。烈山區轄烈山、宋疃、新蔡3個鎮，臨海童、百善、任樓、前嶺4個街道辦事處。杜集區轄高岳、朔里、石臺、段園4鎮，東黎、礦山集、朔里、袁莊4個街道辦事處。濉溪縣轄濉溪、劉橋、徐樓、百善、古饒、臨渙、祁集、韓村、孫疃、雙堆集10個鎮，鐘樓、趙集、四鋪、五鋪、鐵佛、岳集、楊柳、陳集、五溝、南坪10個鄉。（本段數據根據《淮北市年鑒》，和上一段有矛盾之處）

　　2006年3月8日，淮北市公布區劃調整方案：全市由21個鎮7個鄉15個街道辦事處調整為17個鎮1個鄉14個街道辦事處。
　　濉溪縣原有20個鄉鎮，根據調整方案：撤銷原陳集鄉，整建制并入雙堆集鎮；撤銷原楊柳鄉，整建制并入孫疃鎮；撤銷原徐樓鎮，整建制并入百善鎮；撤銷原岳集鄉，整建制并入鐵佛鎮；撤銷原祁集鎮，其中19個村并入臨渙鎮；原祁集鎮的另11個村并入韓村鎮；撤銷原五鋪鄉，整建制并入四鋪鄉。原鐵佛鎮的2個村劃入劉橋鎮。濉溪、南坪、五溝三鎮未作調整。原濉溪縣鐘樓鄉整建制劃入相山區渠溝鎮；濉溪縣原趙集鄉與原古饒鎮合并，成立新的古饒鎮，同時劃入烈山區。
　　杜集區：將現有4個鎮4個街道辦事處調整為3個鎮2個街道辦事處。撤銷高岳鎮和東黎、朔里、袁莊3個街道辦事處。將朔里街道辦事處并入朔里鎮；將袁莊街道辦事處并入段園鎮；以原高岳鎮和東黎街道辦事處的行政區域新設高岳街道辦事處。
　　烈山區：除古饒鎮（由濉溪縣）并入外，將原有的3個鎮4個街道辦事處調整為2個鄉鎮，5個街道辦事處。撤銷烈山鎮、新蔡鎮。以原新蔡鎮和原烈山鎮的吳山口村、烈山村、宋莊村、土樓村的行政區域設立新的烈山鎮。以原烈山鎮的洪莊、楊莊、二郎廟、黃橋4個村和楊莊礦等17個居委會新設楊莊街道辦事處。
　　調整后，全市共有17鎮1鄉14街道，629村143居，其中濉溪縣轄11個鄉鎮。