張掖，取“張國臂掖，以通西域”之意而得名，史稱甘州。西漢元鼎六年（前111）析武威郡置張掖郡。隋初廢張掖郡為甘州。元為甘州路及山丹州地，屬甘肅行省。1912年為甘涼道地。

1949年設(shè)張掖專區(qū)，專署駐張掖縣，轄張掖、臨澤、高臺、山丹、民樂5縣。1950年撤銷張掖專區(qū)，高臺、臨澤2縣劃歸酒泉專區(qū)，張掖、民樂、山丹3縣劃歸武威專區(qū)。

1955年復(fù)設(shè)張掖專區(qū)，專署駐酒泉縣。原武威專區(qū)所屬張掖、山丹、永昌、民勤、武威、古浪、景泰、永登、民樂等9縣及天祝藏族自治縣（原天祝藏族自治區(qū)改），原酒泉專區(qū)所屬臨澤、高臺、酒泉、玉門、安西、敦煌、金塔、鼎新等8縣及肅北蒙古族自治縣（原肅北蒙族自治區(qū)改）、肅南裕固族自治縣（原肅南裕固族自治區(qū)改）、阿克塞哈薩克族自治縣（原阿克塞哈族自治區(qū)改，駐博羅轉(zhuǎn)井）劃歸張掖專區(qū)。原由酒泉專區(qū)代管的額濟納自治旗（原額濟納自治區(qū)改）劃歸張掖專區(qū)代管。轄17縣、4自治縣、1自治旗。

1956年，將景泰、永登2縣劃歸定西專區(qū)；撤銷鼎新縣，并入金塔縣；張掖專區(qū)代管的額濟納自治旗劃歸內(nèi)蒙古自治區(qū)；張掖專區(qū)轄14縣、4自治縣。1958年，撤銷張掖縣，設(shè)立張掖市；撤銷金塔、酒泉2縣，合并設(shè)立酒泉市；撤銷玉門縣，并入玉門市；張掖、酒泉、玉門3市交由張掖專署代管；撤銷臨澤縣，并入張掖、高臺2縣；撤銷民樂縣，并入山丹縣；撤銷古浪縣，并入天祝藏族自治縣。張掖專區(qū)轄3市、7縣、4自治縣，專署駐張掖市。

1961年，將酒泉、玉門2市及敦煌、安西2縣和肅北蒙古族自治縣（駐黨城灣）、阿克塞哈薩克族自治縣（駐博羅轉(zhuǎn)井）劃歸酒泉專區(qū)；武威、永昌、民勤3縣和天祝藏族自治縣劃歸武威專區(qū)；撤銷張掖市，恢復(fù)張掖、臨澤（駐沙河堡）、民樂3縣；張掖專署駐張掖縣，轄5縣、1自治縣。1970年張掖專區(qū)改稱張掖地區(qū)，轄張掖、民樂、臨澤（駐沙河堡）、高臺、山丹等5縣及肅南裕固族自治縣（駐紅灣寺）。

1985年，張掖縣改為張掖市。1996年，張掖地區(qū)面積4.1萬平方千米，人口122.2萬人，轄民樂、山丹、高臺、臨澤4縣及肅南裕固族自治縣，代管張掖市。地區(qū)行政公署駐張掖市。2000年第五次人口普查，張掖地區(qū)總?cè)丝?251754人。其中：張掖市486688人、肅南裕固族自治縣36678人、民樂縣230196人、臨澤縣144875人、高臺縣162159人、山丹縣191158人。

2002年3月1日，國務(wù)院批準（國函[2002]16號）：（1）撤銷張掖地區(qū)和縣級張掖市，設(shè)立地級張掖市。市人民政府駐新設(shè)立的甘州區(qū)南環(huán)路。（2）張掖市設(shè)立甘州區(qū)，以原縣級張掖市的行政區(qū)域為甘州區(qū)的行政區(qū)域。區(qū)人民政府駐縣府街。（3）張掖市轄原張掖地區(qū)的臨澤縣、高臺縣、山丹縣、民樂縣、肅南裕固族自治縣和新設(shè)立的甘州區(qū)。

2003年，張掖市鄉(xiāng)鎮(zhèn)行政區(qū)劃調(diào)整方案：全市鄉(xiāng)鎮(zhèn)由93個撤并到57個，同時，配套推進合并村社建制。

2009年末，全市常住人口128.81萬人，其中城鎮(zhèn)人口45.73萬人，鄉(xiāng)村人口83.08萬人。轄甘州區(qū)和山丹、民樂、臨澤、高臺、肅南五縣，共有60個鄉(xiāng)鎮(zhèn)、5個街道，840個行政村，5655個村民小組。