哈密地名初見于西遼的哈密力，元代又稱合迷里、渴密里等。明代作哈密。維吾爾語稱“庫木勒”，含義來歷尚待考證。也有認為哈密一名源自公元前烏孫族王“昆莫”，“昆莫”居住之地則稱為“昆莫勒”，意為“像太陽一樣的統治者”。一說系古伊朗語，意為“盆地、洼地”。又據《西域詞文志》：為“哈勒密勒。之轉音，意為“回語”的“瞭望臺”。此說恐誤。據《辛卯侍行記》：“纏回之稱哈密，皆曰哈木爾或呼庫木耳。元和志伊州納職縣北有俱密山，是哈密因山得名。……哈木爾，即明初之哈梅里。”一說為早期間爾泰語，意為“大門”，因地處西域大門而命名。

哈密古稱“昆莫”，曾為烏孫王昆莫游牧地，后演變為昆吾。漢時稱伊吾或伊吾盧，為匈奴呼衍王南部牧地。東漢永平十六年（73年）在今四堡地方置宜禾都尉。東漢建初六年（81年）設伊吾司馬。三國時曹魏政權設宜禾伊吾都尉。北魏泰常七年（422年），唐契被柔然政權封為伊吾王。北魏太和十二年（489年），北魏置伊吾郡。隋大業六年（610年），隋設伊吾郡和柔遠鎮。伊吾郡首府從四堡遷至新伊吾（即今之回城），柔遠鎮設在今之沁城。

唐貞觀四年（630），唐置西伊州。兩年后改稱伊州，轄伊吾（今哈密）、納職（今四堡）、柔遠（今沁城）二縣。唐末轉附西漢金山國（為河西漢人張承奉所建）。后又依附于西州回鶻。宋時，州將陳氏家族統治哈密。元時稱哈密力，隸甘肅行省。明永樂二年（1404年），詔封元裔安克貼木兒為忠順王，哈密成為明王朝統治下的一個地方王國。兩年后置哈密衛。哈密地方王國從受封至被吐魯番汗攻占，經11世，凡135年。明末清初，哈密轉屬葉爾羌汗國。葉爾羌汗國滅亡后，哈密又先后被準噶爾蒙古汗噶爾丹和策妄阿拉布坦勢力所控制。清康熙三十五年（1696年）哈密維吾爾族首領額貝都拉擺脫準噶爾統治，歸附清朝。清康熙三十六年（1697年），額貝都拉長子郭帕伯克在巴里坤生擒噶爾丹之子及其部屬，押送北京。清政府封額貝都拉一等札薩克，頒札薩克印，賜紅纛。乾隆二十四年（1759年），設哈密廳。同時派駐欽差辦事大臣、協辦大臣各一員。

光緒十年（1884年），新疆建省，哈密升為直隸廳。民國二年（1913年），改廳為縣，通判改稱知事，隸鎮迪道。民國二十三年（1934年），哈密縣隸屬哈密行政區。民國二十四年（1935年），劃哈密縣天山以北的吐葫蘆等6區為伊吾縣行政區域。

1949年成立哈密專員公署，駐哈密。1961年，國務院決定以哈密鎮為基礎成立哈密市（縣級）。次年11月奉命撤銷，恢復哈密鎮建置。

1977年1月，國務院決定恢復哈密市，劃哈密鎮、城郊公社及回城公社大營門大隊、陶家宮公社上阿牙大隊、紅星三場為市區，面積58平方千米。中共哈密市委、市政府于當年3月組建成立。1978年，中共哈密縣委、縣政府從老城遷至大營房辦公。1983年9月，國務院決定撤銷哈密縣，政區并入哈密市。1984年5月，撤縣并市工作完成。

從1984年末至1985年初，在農村體制改革中，根據“政社分離”的原則，恢復了區、鄉、鎮、村建制。1994年底，哈密市政府下轄2區、2鎮、3個街道、20個鄉、43個居委會、112個村委會。1996年，撤銷沁城區及所屬的小堡鄉、芨芨臺鄉；撤銷天山區及其所屬的榆樹溝鄉、板房溝鄉；二道溝鄉更名為天山鄉；恢復設立星星峽鎮。

1996年底，哈密市轄3個街道、3個鎮、16個鄉，103個行政村、54個居委會：東河區街道（14個居委會）、西河區街道（8個居委會）、新市區街道（21個居委會）、雅滿蘇鎮（4個居委會）、七角井鎮（5個居委會、1個行政村）、星星峽鎮（3個居委會）、城郊鄉（9個行政村）、回城鄉（5個行政村）、花園鄉（9個行政村）、南湖鄉（4個行政村）、二堡鄉（9個行政村）、五堡鄉（12個行政村）、陶家宮鄉（12個行政村）、大泉灣鄉（4個行政村）、沁城鄉（10個行政村）、烏拉臺哈薩克民族鄉（2個行政村）、雙井子鄉、天山鄉（11個行政村）、白石頭鄉（4個行政村）、西山鄉（5個行政村）、柳樹溝鄉（4個行政村）、德外里都如克哈薩克民族鄉（2個行政村）。