自秦至唐稱朐縣、郁州。唐至清改稱海州、東海縣。民國時期設連云市。1949年11月設立新海連市，屬山東省魯中南行署管轄。1953年1月1日，新海連市屬江蘇省徐州專區管轄。1954年，改為省轄市。1958年，新海連市劃歸徐州專區領導。1961年，新海連市改名為連云港市。1962年，連云港市改為省轄市。

1983年實行市管縣體制，徐州地區的贛榆、東海和淮陰地區的灌云3縣劃歸連云港市領導。市區設新海、連云、云臺3個市轄區。1986年4月，新海區劃為新浦、海州2個區。連云港市共轄3縣4區。1996年將淮陰市的灌南縣劃歸連云港市。2001年10月1日國務院批準，撤銷云臺區，將云臺區的朝陽鎮、徐圩鎮、板橋鎮和中云街道劃歸連云區管轄，南城鎮、花果山鄉、云臺鄉和猴嘴街道劃歸新浦區管轄。

2004年末，連云港市總人口468.81萬人。轄3個市轄區、4個縣，即新浦區、連云區、海州區、贛榆縣、東海縣、灌云縣、灌南縣。市政府駐新浦區。

2005年，將新浦區猴嘴街道劃歸連云區管轄，猴嘴街道轄區范圍內的海域和灘涂，一并劃歸連云區管轄；將灌云縣寧海鄉整建制劃歸新浦區管轄。2006年底，全市常住總人口450.52萬人，戶籍總人口479.42萬人。

2008年，將東海縣浦南鎮劃歸連云港市新浦區管轄，并將江蘇省國營崗埠農場劃入新浦區行政區域（2007年末江蘇省政府批準）。2009年，將灌云縣板浦鎮、新浦區寧海鄉劃歸海州區管轄。2010年，將贛榆縣管轄的青口鹽場、灌云縣管轄的江蘇省東辛農場和海軍92323部隊農副業基地劃歸連云港市連云區管轄。2011年，將灌云縣境內江蘇省連云港監獄七分部位于新沂河南岸3.78平方千米區域劃歸灌南縣堆溝港鎮管轄。