所轄區域原分屬原郊區、云龍區、鼓樓區。1993年徐州市行政區劃調整，設立泉山區，因境內泉山得名。

2000年4月2日，徐州市人民政府批準撤銷泉山區奎山鄉設立街道辦事處：（1）撤銷奎山鄉，將奎山鄉原轄的韓山村、杏山子村整建制劃給湖濱街道辦事處。（2）將奎山鄉原轄的姚莊村、十里村整建制調入翟山街道辦事處。（3）將奎山鄉原轄的三官廟村和徐州果園合并，設立七里溝街道辦事處。（4）共建街道辦事處更名為奎山街道辦事處。（5）將銅沛街道辦事處整建制劃歸鼓樓區暫行管轄。具體范圍：南起中山北路慶云橋段接馬場湖西路至九里區界，東起黃河南路接二環西路沿黃河故道至九里區界。

2000年第五次人口普查，泉山區總人口468482人，其中（15個街道）：永安街道41470人，王陵街道24588人，湖濱街道33110人，西關街道35954人，夾河街道35619人，和平街道41463人，段莊街道37392人，奎山街道34357人，翟山街道54655人，西苑街道30796人，泰山街道16611人，金山街道10509人，湖北街道11449人，七里溝街道5281人，潘塘街道55228人。

2004年，根據省政府蘇政復[2004]55號《省政府關于同意徐州市泉山區潘塘街道辦事處劃歸云龍區管轄的批復》精神，徐州市政府同意將泉山區潘塘街道辦事處（實際由徐州市城南開發區管轄）劃歸云龍區管轄。調整后，云龍區行政區域面積115平方千米，人口28.4萬人，轄12個街道辦事處；泉山區行政區域面積65.7平方千米，人口42.7萬人，轄14個街道辦事處。

2005年1月，徐州市政府批準對泉山區街道辦事處進行調整：（1）將西苑、和平2個街道辦事處合并為和平街道辦事處。同時，將原夾河街道辦事處所轄的事業社區居委會劃入和平街道辦事處。區劃調整后，和平街道辦事處轄黃河新村南、黃河新村北、工程、合群、和平新村、礦機、苑東、民健、民安、民康、民樂、苑南、事業13個社區居委會，面積4.7平方千米，人口7.4萬人。 （2）將西關、湖北、永安3個街道辦事處合并為永安街道辦事處。同時，將原湖北街道辦事處所轄的劉場社區居委會劃入湖濱街道辦事處。區劃調整后,永安街道辦事處轄聯華、永安、蘇園、建南、余窯、紡南、關莊東、銀湖、新吳莊、吳莊、關莊、北村、紡東、建煤、西村、西南村16個社區居委會，面積4.1平方千米，人口9萬人。 （3）將夾河、王陵2個街道辦事處合并為王陵街道辦事處。區劃調整后，王陵街道辦事處轄中樞、新光、海鄭里、王陵、二眼井、光明、醒獅、富國、小北門9個社區居委會，面積1.95平方千米，人口6.8萬人。 （4）將二環西路以西原西關街道辦事處的紡西社區居委會并入段莊街道辦事處。區劃調整后的段莊街道辦事處轄榴園、城西、興南、礦山、礦東、法苑、段莊、紡西8個社區居委會，面積2.95平方千米，人口3萬人。 （5）將原湖北街道辦事處所轄的云龍湖、云龍山面積并入金山街道辦事處。調整后的金山街道辦事處面積21.5平方千米，人口3萬人。 （6）區劃調整后,湖濱街道辦事處轄湖濱東社區、湖濱西社區、杏山子、韓山、劉場5個社區居委會，面積7.3平方千米，人口3.6萬人。 （7）奎山、泰山、翟山、七里溝街道辦事處的名稱和區域范圍不變。

2009年末，泉山區總面積63平方千米、總人口45.29萬人。（數據來源于《江蘇省統計年鑒》）

2010年，將原九里區的火花、蘇山、桃園和龐莊（不含拾東村、拾西村和昕昕居委會）4個街道劃歸泉山區管轄。