因境內有馬鞍山，以山為名。1954年始設馬鞍山鎮，屬當涂縣。1955年成立馬鞍山礦區，屬蕪湖專區。1956年由當涂縣的馬鞍山礦區和采石鎮設立馬鞍山市，由省直轄。1958年馬鞍山市劃歸蕪湖專署領導。1961年馬鞍山市改由省直轄。1983年6月當涂縣劃歸馬鞍山市管轄。

1996年，馬鞍山市面積1684平方千米，人口約114.5萬人。市政府駐花山區。轄金家莊、花山、雨山、向山4區和當涂縣。

2000年第五次全國人口普查，馬鞍山市總人口1196916人，其中：金家莊區86261人，花山區179542人，雨山區132943人，向山區168830人，當涂縣629340人。

2001年7月1日，國務院批準（國函[2001]75號）：(1)撤銷馬鞍山市向山區。(2)將原向山區的慈湖鄉劃歸馬鞍山市金家莊區管轄，霍里鎮、濮塘鎮劃歸馬鞍山市花山區管轄，雨山鄉、佳山鄉和向山鎮劃歸馬鞍山市雨山區管轄。

2004年，全市鄉鎮由31個調整為19個，將當涂縣的銀塘鎮劃入馬鞍山市雨山區。2004年底，全市戶籍人口為124.39萬人；其中：農業人口66.22萬人，非農業人口58.17萬人。共有12個街道、13個鎮、6個鄉。

2011年7月14日，《國務院關于同意安徽省撤銷地級巢湖市及部分行政區劃調整的批復》（國函[2011]84號）：將原地級巢湖市管轄的含山縣，和縣（不含沈巷鎮）劃歸馬鞍山市管轄。

2012年，《國務院關于同意安徽省調整馬鞍山市部分行政區劃的批復》（國函[2012]103號）：撤銷馬鞍山市金家莊區和花山區，設立新的花山區，以原金家莊區和花山區的行政區域為新的花山區的行政區域。花山區人民政府駐霍里街道秀山大道166號。設立馬鞍山市博望區。將當涂縣的博望鎮、丹陽鎮、新市鎮劃歸博望區管轄，以博望鎮、丹陽鎮、新市鎮的行政區域為博望區的行政區域。博望區人民政府駐博望鎮工貿路1號。