牡丹江地名是以牡丹江河流而得名。牡丹江在唐代稱忽汗河（一作忽汗水）；金代稱呼里改江（一作骨烏里改江）；元代稱忽爾哈河；明代稱胡里改江（又稱呼拉哈河、虎爾哈河、胡爾哈河、呼爾哈河、火兒哈河）；清民稱虎爾哈或牡丹江。上述出現(xiàn)的名稱，大都為音似字異，均為滿語“灣曲”的意思（另一種解釋為“響水”）。牡丹江河流蜿蜒曲折，流淌于老爺嶺的群山之中，故名為牡丹江，含有灣曲的江水之意。最早為站名，后建置市制時(shí)取其為地名。
牡丹江市設(shè)置較晚。古時(shí)沿革不詳。最早可追朔到鋪設(shè)東清鐵路時(shí)期，當(dāng)時(shí)曾經(jīng)在東部線（即當(dāng)時(shí)的濱綏線）、牡丹江兩岸設(shè)置了驛站，名為牡丹江驛。但在同時(shí)鋪設(shè)的圖佳線上亦新設(shè)置了一個(gè)牡丹江驛（別稱寧北），故將濱綏線牡丹江驛稱為南牡丹江驛。到了康德四年（1937年）在實(shí)行第二次地方行政機(jī)構(gòu)改革中，設(shè)置了牡丹江市，并在原十四省的基礎(chǔ)上，增設(shè)了牡丹江省、通化省。牡丹江市為牡丹江省省公署所在地。康德十年（1943年）十月設(shè)置了東滿總省（包括牡丹江、東安、間島）和興安總省（包括興安東、西、南、北四省），東滿總省公署駐牡丹江市。東北光復(fù)后，民國三十六年（1947年）六月五日公布東北新省區(qū)方案，廢除偽省制，劃東北為九省。牡丹江市劃屬松江省所轄，仍為省會(huì)所在地。
全國解放后，劃東北為三省，牡丹江市又劃歸黑龍江省所轄。1956年設(shè)牡丹江專區(qū)，專署駐牡丹江市；原由省直轄的林口、密山、虎林、穆棱（駐八面通鎮(zhèn)）、東寧、寧安、尚志、延壽、方正等9縣劃歸牡丹江專區(qū)；海林縣撤銷，并入牡丹江市和林口、寧安2縣。1958年原由省直轄的牡丹江、雞西2市劃歸牡丹江專署領(lǐng)導(dǎo)；轄2市、9縣。1960年撤銷虎林縣和原屬合江專區(qū)的饒河縣，合并設(shè)立虎饒縣（駐原虎林縣城）；將寧安縣劃歸牡丹江市領(lǐng)導(dǎo)。1962年，恢復(fù)海林縣（駐海林鎮(zhèn)），寧安縣仍劃歸牡丹江專署領(lǐng)導(dǎo)。1964年以密山縣和雞西市各一部分地區(qū)設(shè)雞東縣（駐雞東鎮(zhèn)）；撤銷虎饒縣；牡丹江專區(qū)轄2市、10縣。
1966年牡丹江、雞西2市改由省直轄。1967年牡丹江市劃歸牡丹江專署領(lǐng)導(dǎo)。1970年牡丹江專區(qū)改稱牡丹江地區(qū)；尚志、方正、延壽3縣劃歸松花江地區(qū)，原屬合江地區(qū)的虎林縣劃入牡丹江地區(qū)；轄1市、8縣。1975年以原東寧縣綏芬河鎮(zhèn)設(shè)立綏芬河市，由牡丹江地區(qū)領(lǐng)導(dǎo)；牡丹江地區(qū)轄牡丹江、綏芬河2市及林口、東寧、雞東、穆棱（駐八面通鎮(zhèn)）、密山、寧安、虎林、海林等8縣。1980年4月15日，黑龍江省人民政府批準(zhǔn)設(shè)立牡丹江市陽明區(qū)。同年，牡丹江市人民政府批準(zhǔn)牡丹江市先鋒區(qū)更名為西安區(qū)、東風(fēng)區(qū)更名為東安區(qū)。
1983年9月3日，國務(wù)院批準(zhǔn)撤銷牡丹江地區(qū)。牡丹江市升格為地級(jí)市；將雞東縣劃歸雞西市管轄；將海林、林口、寧安、穆林、東寧、虎林、密山七縣劃歸牡丹江市管轄；綏芬河市由黑龍江省直轄。1983年10月8日，黑龍江省人民政府批準(zhǔn)綏芬河市由牡丹江市代管。1986年7月1日，國務(wù)院批準(zhǔn)（國函[1996]85號(hào)）設(shè)立鏡泊湖市（縣級(jí)），市政府駐渤海鎮(zhèn)，以原寧安縣的鏡泊、杏山2鄉(xiāng)，沙蘭鎮(zhèn)山區(qū)（小北湖林場(chǎng)、爾站林場(chǎng)）、以及渤海鎮(zhèn)的8個(gè)村和1個(gè)街道辦事處為鏡泊湖市的行政區(qū)域。1987年11月27日，國務(wù)院批準(zhǔn)（國函[1997]183號(hào)）撤銷鏡泊湖市，將其行政區(qū)域并入寧安縣。
1992年7月28日，民政部批復(fù)（民行批[1992]90號(hào)）撤銷海林縣，設(shè)立海林市。1993年6月14日，國務(wù)院批準(zhǔn)將牡丹江市的虎林縣劃歸雞西市管轄。1993年2月12日，民政部批復(fù)（民行批[1993]9號(hào)）撤銷寧安縣，設(shè)立寧安市。1995年3月7日，民政部批復(fù)（民行批[1995]18號(hào)）撤銷穆棱縣，設(shè)立穆棱市。 1997年9月30日，國務(wù)院批準(zhǔn)（國函[1997]90號(hào)），撤銷牡丹江市郊區(qū)；將原郊區(qū)的興隆鎮(zhèn)、東村鄉(xiāng)劃歸東安區(qū)管轄；將原郊區(qū)的溫春鎮(zhèn)、沿江鄉(xiāng)劃歸西安區(qū)管轄；將原郊區(qū)的鐵嶺鎮(zhèn)、樺林鎮(zhèn)劃歸陽明區(qū)管轄；將原郊區(qū)的北安鄉(xiāng)、三道鄉(xiāng)劃歸愛民區(qū)管轄。
2000年第五次人口普查，牡丹江市總?cè)丝?684495人。其中：東安區(qū) 185506人、陽明區(qū) 163290人、愛民區(qū) 271779人、西安區(qū) 186619人、東寧縣 207012人、林口縣 418136人、綏芬河市 69052人、海林市 435677人、寧安市 437328人、穆棱市 310096人。
2007年7月11日，《黑龍江省民政廳關(guān)于調(diào)整牡丹江市部分行政區(qū)劃的批復(fù)》（黑民區(qū)[2007]77號(hào)）：經(jīng)省政府批準(zhǔn)，同意將穆棱市所轄的磨刀石鎮(zhèn)整建制劃歸牡丹江市陽明區(qū)管轄。2007年12月19日，《黑龍江省民政廳關(guān)于調(diào)整牡丹江市部分行政區(qū)劃的批復(fù)》（黑民區(qū)[2007]143號(hào)）：同意將林口縣所轄的五林鎮(zhèn)整建制劃歸牡丹江市陽明區(qū)管轄。2009年，《黑龍江省民政廳關(guān)于調(diào)整牡丹江市部分行政區(qū)劃的批復(fù)》（黑民區(qū)[2009]121號(hào)）：同意將海林市所轄的海南朝鮮族鄉(xiāng)整建制劃歸牡丹江市西安區(qū)管轄（2010年5月正式實(shí)施）。
2010年9月2日，《黑龍江省民政廳關(guān)于調(diào)整牡丹江市部分行政區(qū)劃的批復(fù)》（黑民區(qū)[2010]102號(hào)）：經(jīng)省政府同意，將寧安市寧安鎮(zhèn)富民村、雙龍村、橋頭村劃歸牡丹江市西安區(qū)溫春鎮(zhèn)管轄。（牡丹江市）要將此次行政區(qū)劃調(diào)整和以前批復(fù)的穆棱市磨刀石鎮(zhèn)、林口縣五林鎮(zhèn)、海林市海南朝鮮族鄉(xiāng)等相關(guān)行政區(qū)劃調(diào)整工作統(tǒng)籌安排，抓緊落實(shí)有關(guān)交界工作，確保2010年10月底之前將已批復(fù)的行政區(qū)劃調(diào)整落實(shí)到位，并在一定時(shí)間內(nèi)保持行政區(qū)劃的穩(wěn)定。
牡丹江市，因江得名。牡丹江系滿語“牡丹烏拉”轉(zhuǎn)譯而來，意為“彎曲的江”。周為肅慎地，漢晉屬挹婁，南北朝屬勿吉，隋屬靺鞨，唐屬渤海國，金屬胡里改路，明屬奴兒干都司，清代屬寧古塔將軍轄區(qū)，今郊區(qū)乜河村（古稱尼葉赫）是寧古塔通往三姓的重要驛站。1901年（清光緒二十七年）修筑中東鐵路建火車站，因車站南臨牡丹江，遂取名“牡丹江站”。清末添設(shè)民官后，隸屬寧安府管轄。中華民國成立以后，隸屬寧安縣管轄。1920年以后，在牡丹江車站周圍丈放街基，人口不斷增加，店鋪日益興起，逐漸形成集鎮(zhèn)。東北淪陷后，1936年12月，圖們江至佳木斯鐵路全線通車后，牡丹江新站（今牡丹江站）落成，成為貫穿東西、南北的交通樞紐。1937年6月27日，偽滿決定，增設(shè)牡丹江省；同時(shí)設(shè)置牡丹江市，從7月1日開始執(zhí)行。在偽牡丹江省公署內(nèi)設(shè)立牡丹江市政籌備處，同年12月1日，成立偽牡丹江市公署，隸屬牡丹江省管轄。1943年10月后，相繼為東滿總省和東滿省省會(huì)。
1945年“九三”抗日戰(zhàn)爭(zhēng)勝利后，同年10月中旬，中共中央東北局派干部到達(dá)牡丹江，建立了牡丹江市民主政府。1946年4月10日，綏寧省首屆臨時(shí)參議會(huì)決定，創(chuàng)建綏寧省，牡丹江市隸屬綏寧省管轄，并為綏寧省省會(huì)。同年10月8日，撤銷綏寧省，牡丹江市隸屬牡丹江專區(qū)管轄。1947年8月20日，設(shè)置牡丹江省，牡丹江市隸屬牡丹江省管轄。1948年7月9日，撤銷牡丹江省，將牡丹江市劃歸松江省管轄。1949年12月，將牡丹江市郊區(qū)部分村屯分別劃歸海林、穆棱兩縣，全市總面積由1083.5平方千米減少到750平方千米。1951年底，全市總?cè)丝?1.3萬人，分設(shè)4個(gè)市轄區(qū)，為丁等市。1954年8月，松、黑兩省合并后，由黑龍江省直轄。1956年3月，將原海林縣興隆區(qū)的江南、乜河、下乜河、興隆、海浪和柴河區(qū)的樺林、工農(nóng)、互利、鐵嶺等9個(gè)村劃歸牡丹江市管轄。全市管轄范圍恢復(fù)到1945年10月的原狀。1956年9月，根據(jù)國務(wù)院關(guān)于人口在20萬以下的市一般不設(shè)市轄區(qū)的規(guī)定，撤銷了4個(gè)市轄區(qū)，改設(shè)6個(gè)街道辦事處。1958年1月，全市總?cè)丝谝殉^20萬人，經(jīng)省人民委員會(huì)批準(zhǔn)，撤銷6個(gè)街道辦事處，設(shè)立愛民、東安、西安3個(gè)市區(qū)和1個(gè)郊區(qū)。同年8月，將牡丹江市劃歸牡丹江專區(qū)管轄；10月，將寧安縣溫春公社劃歸牡丹江市管轄，全市總面積達(dá)到1400平方千米，總?cè)丝谶_(dá)到23.8萬人。1960年4月5日，將牡丹江專區(qū)的寧安縣劃歸牡丹江市領(lǐng)導(dǎo)，1962年9月22日又將寧安縣劃回牡丹江專區(qū)管轄。1966年2月8日，將牡丹江市改由省直轄，1968年2月又改由牡丹江地區(qū)管轄。1970年10月，設(shè)置陽明區(qū)。1983年9月3日，經(jīng)國務(wù)院批準(zhǔn)，進(jìn)行市帶縣試點(diǎn)，撤銷牡丹江地區(qū)，實(shí)行地市合并，將原牡丹江地區(qū)的寧安、海林、密山、林口、穆棱、東寧、虎林7縣劃歸牡丹江市領(lǐng)導(dǎo)。同年10月18日，省政府決定，綏芬河市由牡丹江市代管。1988年后，密山、海林兩縣先后撤縣設(shè)市，改由牡丹江市代管。1992年10月，省政府決定，密山市改由雞西市代管。至此，牡丹江市共轄5個(gè)區(qū)，領(lǐng)導(dǎo)5個(gè)縣，代管兩個(gè)市。
1992年，牡丹江市位于黑龍江省東南部，張廣才嶺和老爺嶺之間，市區(qū)瀕臨牡丹江，是黑龍江省東南部的政治、經(jīng)濟(jì)、文化中心和交通樞紐。東鄰穆棱縣，南界寧安縣，西、北與海林市毗連，東北與林口縣接壤。全市總面積1400平方千米，其中城區(qū)面積50余平方千米。全市共轄愛民、東安、西安、陽明、郊區(qū)5個(gè)區(qū)。1992年末，全市（不含市轄縣，下同）總?cè)丝?1.9萬人，其中非農(nóng)業(yè)人口58.7萬人；朝鮮、滿、回、蒙古等少數(shù)民族人口約占總?cè)丝诘?.3%。市政府駐地愛民區(qū)。（以上摘自《黑龍江省志·地名錄》，有改動(dòng)）
牡丹江地區(qū) 1956年3月6日，經(jīng)國務(wù)院批準(zhǔn)，在省境東南部設(shè)立牡丹江專區(qū)，將原由省直轄的寧安、林口、雞西、密山、虎林、穆棱、東寧、尚志、延壽、方正10縣劃歸牡丹江專區(qū)管轄。牡丹江專員公署駐牡丹江市。同年12月，撤銷雞西縣，設(shè)置雞西市，由省直轄。1958年8月，將省直轄的牡丹江、雞西2市改由牡丹江專區(qū)管轄。1960年1月，虎林、饒河兩縣合并為虎饒縣，由牡丹江專區(qū)管轄。同年4月，將寧安縣劃歸牡丹江市領(lǐng)導(dǎo)。因市無力領(lǐng)導(dǎo)縣，1962年9月，又將牡丹江市領(lǐng)導(dǎo)的寧安縣劃歸牡丹江專區(qū)管轄。同年10月，恢復(fù)海林縣，由牡丹江專區(qū)管轄；11月，將虎饒縣劃歸合江專區(qū)管轄。1965年6月，設(shè)置雞東縣，由牡丹江專區(qū)管轄。是時(shí)，牡丹江專區(qū)共轄牡丹江、雞西2市和寧安、海林、林口、密山、穆棱、東寧、雞東、尚志、延壽、方正10縣。1966年2月，將牡丹江、雞西2市改由省直轄。 1967年3月，經(jīng)黑龍江省革命委員會(huì)批準(zhǔn)，成立牡丹江地區(qū)革命委員會(huì)，牡丹江專員公署正式撤銷，牡丹江專區(qū)遂改為牡丹江地區(qū)。地區(qū)革委會(huì)駐牡丹江市，管轄原牡丹江專區(qū)所屬10縣。1968年2月，將牡丹江市劃歸牡丹江地區(qū)管轄。1970年4月，將尚志、延壽、方正3縣劃歸松花江地區(qū)管轄；將合江地區(qū)所屬的虎林縣劃歸牡丹江地區(qū)管轄。1975年8月，設(shè)置綏芬河市，由牡丹江地區(qū)管轄。1979年2月，根據(jù)新《憲法》的規(guī)定，將牡丹江地區(qū)革命委員會(huì)改為牡丹江地區(qū)行政公署，“由實(shí)變虛”，為省政府的派出機(jī)關(guān)，管轄2市、8縣。行政公署駐牡丹江市。1983年9月3日，國務(wù)院批準(zhǔn)，撤銷牡丹江地區(qū)，與牡丹江市實(shí)行地市合并，牡丹江市由省直轄。將原牡丹江地區(qū)所屬的寧安、海林、林口、穆棱、東寧、密山、虎林7縣劃歸牡丹江市領(lǐng)導(dǎo)，綏芬河市由牡丹江市代管；將雞東縣劃歸雞西市領(lǐng)導(dǎo)。（本段摘自《黑龍江省志·地名錄》
牡丹江市郊區(qū) 1945年“九三”抗日戰(zhàn)爭(zhēng)勝利后，牡丹江市分設(shè)興隆、鐵嶺、樺林、謝家區(qū)，管轄郊區(qū)農(nóng)村。1947年3月，設(shè)置北安區(qū)；撤銷樺林區(qū)和謝家區(qū)。1948年10月，撤銷北安區(qū)。1949年6月，重設(shè)北安區(qū)；撤銷鐵嶺區(qū)，將其所轄區(qū)域分別劃歸穆棱縣和北安區(qū)管轄。1956年3月，撤銷北安區(qū)，設(shè)立郊區(qū)辦事處。1958年1月，省人民委員會(huì)批準(zhǔn)，設(shè)立牡丹江市郊區(qū)，管轄市郊興隆、鐵嶺、沿江、樺林、北安、東村6個(gè)鄉(xiāng)。同年10月，將寧安縣的溫春公社劃歸牡丹江市，由郊區(qū)管轄。1960年8月，將郊區(qū)農(nóng)村公社分別劃歸3個(gè)城市公社（區(qū)）管轄，撤銷了郊區(qū)。1962年1月，恢復(fù)郊區(qū)建制，仍轄原劃歸各城市公社（區(qū)）的農(nóng)村公社。1984年3月，將沿江公社劃分為沿江、三道兩個(gè)鄉(xiāng)，其他公社均改為鄉(xiāng)的建制。1985年5月，將鐵嶺、樺林、溫春、興隆4個(gè)鄉(xiāng)分別改為鎮(zhèn)的建制。 1992年，牡丹江市郊區(qū) 牡丹江市管轄的市郊區(qū)。因其所轄區(qū)域均為環(huán)繞城區(qū)的鄉(xiāng)鎮(zhèn)，故名。東與穆棱縣接壤，南與寧安縣毗鄰，西、北與海林市相連，東北與林口縣分界。全區(qū)總面積1298平方千米，全區(qū)共轄4鎮(zhèn)、4鄉(xiāng)。1992年末全區(qū)總?cè)丝?4.1萬人，其中非農(nóng)業(yè)人口11.4萬人；朝鮮、滿、回族等少數(shù)民族人口約占11%。區(qū)政府駐城區(qū)天安路南段路西。（摘自《黑龍江省志·地名錄》） 1997年9月30日，國務(wù)院批準(zhǔn)（國函[1997]90號(hào)），撤銷牡丹江市郊區(qū)。將原郊區(qū)的興隆鎮(zhèn)、東村鄉(xiāng)劃歸東安區(qū)管轄；將原郊區(qū)的溫春鎮(zhèn)、沿江鄉(xiāng)劃歸西安區(qū)管轄；將原郊區(qū)的鐵嶺鎮(zhèn)、樺林鎮(zhèn)劃歸陽明區(qū)管轄；將原郊區(qū)的北安鄉(xiāng)、三道鄉(xiāng)劃歸愛民區(qū)管轄。