1933年為南京市第一區，1955年更名為玄武區，以瀕臨玄武湖而得名。1960年改玄武區人民公社，1963年復為玄武區，1967年更名要武區，1973年復名玄武區。

1995年，將鼓樓區中央路東側廖家巷、大樹根、后大樹根、中央門4個居委會劃入玄武區玄武門街道辦事處管轄；將棲霞區玄武湖鎮、孝陵衛鎮（苜蓿園、后莊兩個村除外），邁皋橋鎮的小營、紅山、藤子3個行政村，伊劉苗圃、紅山公園及屬中山陵園管理局行政管理的范圍，劃歸玄武區管轄。其中從邁皋橋鎮劃入的3個行政村并入玄武湖鎮。1996年，全區面積81平方千米，人口約34.8萬人。轄10個街道。區政府駐珠江路455號。

2000年第五次人口普查，玄武區總人口491364人，其中：蘭園街道 40168人、梅園新村街道 25595人、新街口街道 36658人、丹鳳街街道 49888人、玄武門街道 45753人、后宰門街道 54771人、鎖金村街道 51847人、紅山街道 47458人、孝陵衛街道 92807人、玄武湖街道 46419人。

2005年1月，玄武區將原來的11個街道調整為8個：撤銷蘭園街道并入梅園新村街道，撤銷丹鳳街街道并入新街口街道，撤銷衛崗街道并入孝陵衛街道。

2009年末，玄武區總面積75平方千米、總人口51.52萬人。轄8個街道：梅園新村街道、新街口街道、玄武門街道、后宰門街道、鎖金村街道、紅山街道、孝陵衛街道、玄武湖街道。區政府駐蘭園街道。

2010年第六次人口普查，玄武區常住總人口651957人，其中：梅園新村街道107395人，新街口街道93906人，玄武門街道41993人，后宰門街道61990人，鎖金村街道76063人，紅山街道88217人，孝陵衛街道112654人，玄武湖街道69739人。

2012年，將梅園新村街道北京東路以北的公教一村社區和后宰門街道龍蟠路以北以西的轄區部分（太平花園小區）劃歸玄武門街道管轄，將調整后的梅園新村街道與后宰門街道合并設立新的梅園新村街道。調整后，全區轄7個街道：梅園新村街道、新街口街道、玄武門街道、鎖金村街道、紅山街道、孝陵衛街道、玄武湖街道。