“格爾木”（又作高魯木斯、郭里峁、噶爾穆）是蒙古語譯音，意為“河流密集的地方”“河流眾多”。古為羌地，自東晉至清歷屬吐谷渾、威定縣、吐蕃王國、角廝羅政權、吐蕃等處宣慰司、曲先衛、欽差辦理青海蒙古番子事務大臣。

民國十八年（1929年）青海建省后屬都蘭縣、通新設置局。1953年12月原都蘭縣郭里峁哈薩克族自治區改稱阿爾頓曲克哈薩克族自治區（駐格爾木，相當于區級）。1956年成立噶爾穆臨時工委（一說：1956年3月1日成立了格爾木工作委員會，為縣級領導機構）。

1960年11月17日國務院全體會議第105次會議批準設格爾木市（撤銷格爾木工作委員會，以原格爾木工作委員會的部分地區設立格爾木市）。1964年，撤銷唐古拉山工作委員會（原駐溫泉，1959年遷駐托托河沿），并入格爾木市。

1965年3月27日，撤銷格爾木市，改設格爾木縣。1980年6月14日復設格爾木市。格爾木市仍隸屬海西蒙古藏族自治州管轄，為副地級市。1992年設立省計劃單列市。

1980年6月14日改縣建市后，設立3個街道辦事處。1988年底共有7個基層政權機構，即昆侖路、金峰路、河西3個辦事處和唐古拉山、烏圖美仁、大格勒、郭勒木德4個鄉，24個居民委員會和28個村（牧）民委員會。1992年成立格爾木昆侖經濟開發區（2002年升格時隸屬格爾木市管理）。1999年末，面積12.4萬平方千米，人口90173人（根據青海省志），轄3個街道、4個鄉。

2000年第五次人口普查，格爾木市總人口135897人，其中：昆侖路街道38214人，金峰路街道26567人，河西街道27417人，郭勒木德鄉15771人，大格勒鄉2106人，烏圖美仁鄉1808人，唐古拉山鄉1880人，格爾木鐵路12249人，格爾木農場9883人。

2001年8月9日，青海省人民政府青政函[2001]81號文批復：格爾木市設立東城行政委員會、西城行政委員會和察爾汗行政委員會作為市人民政府的派出機構。與此同時，青政函[1997]21號文件停止執行。

2002年增設了兩個街道（黃河路街道、西藏路街道），三個副縣級工行委（東城區工行委、西城區工行委、察爾汗工行委）。格爾木市共有24個社區、38個村（牧）民委員會。2003年末總人口10.7萬人。

2005年，格爾木市調整鄉鎮行政區劃：撤銷郭勒木德鄉，設立郭勒木德鎮，鎮政府駐地和鎮區行政區劃范圍不變，實行鎮管村體制。2、撤銷唐古拉山鄉，設立唐古拉山鎮，鎮政府駐地和鎮區行政區劃范圍不變，實行鎮管村體制。