海西州因地處青海湖以西而名。古為羌地，漢時(shí)州境東部為先零卑禾等人部落活動(dòng)范圍，西部屬“羌”駐牧地。唐時(shí)隸屬吐蕃臘城節(jié)度使至宋代。元代，西北地區(qū)為甘肅行省沙州路轄區(qū)，其余大部分地區(qū)為宣政院所屬吐蕃等處宣慰司轄區(qū)。
明初，定為安定、阿端、曲先、罕東四衛(wèi)地，由西寧衛(wèi)兼管。清雍正三年，編定青海蒙古左右兩翼盟29旗，州境劃定9個(gè)蒙古旗，統(tǒng)歸“欽差辦理青海蒙古番子事務(wù)大臣”管轄。民國(guó)元年海西地區(qū)隸屬青海省辦事長(zhǎng)官。民國(guó)19年（1930）改都蘭理事為都蘭縣，轄今海西州全境，直隸青海省政府。
1949年9月青海解放。同年11月成立都蘭縣人民政府（駐地察汗烏蘇），轄今海西州全境，直隸省政府。1952年9月26日，撤銷(xiāo)都蘭縣，設(shè)立縣級(jí)“都蘭蒙藏哈薩克族自治區(qū)”（駐地察汗烏蘇）。
1954年1月25日設(shè)立海西蒙藏哈薩克族自治區(qū)，自治區(qū)人民政府駐都蘭蒙古族自治區(qū)察汗烏蘇。轄都蘭蒙古族自治區(qū)（由原都蘭縣自治區(qū)部分地區(qū)設(shè)置，相當(dāng)于縣級(jí)）、天峻藏族自治區(qū)（由原都蘭縣自治區(qū)部分地區(qū)設(shè)置，駐唐乃亥。相當(dāng)于縣級(jí)）、阿爾頓曲克哈薩克族自治區(qū)（1953年12月原都蘭縣郭里峁哈薩克族自治區(qū)改稱(chēng)阿爾頓曲克哈薩克族自治區(qū)，駐格爾木，相當(dāng)于區(qū)級(jí)）。
1955年12月12日，海西蒙藏哈薩克族自治區(qū)改設(shè)海西蒙藏哈薩克族自治州，自治州人民委員會(huì)駐都蘭縣察汗烏蘇。原都蘭蒙族自治區(qū)改設(shè)都蘭縣（駐香日德鎮(zhèn)），原天峻藏族自治區(qū)改設(shè)天峻縣（駐熱那亥）。同年10月23日建立格爾木臨時(shí)工作委員會(huì)，駐格爾木，屬柴達(dá)木工作委員會(huì)領(lǐng)導(dǎo)。海西蒙藏哈薩克族自治州轄2縣及阿爾頓曲克哈薩克族自治區(qū)（由自治州直轄的區(qū)級(jí)行政單位）。
1956年，設(shè)立德令哈臨時(shí)工作委員會(huì)，駐巴音河；設(shè)立柴達(dá)木盆地工作委員會(huì)，駐大柴旦，轄茫崖、格爾木、唐古拉山（駐溫泉）、馬海4工作委員會(huì)；海西蒙藏哈薩克族自治州轄2縣、1工作委員會(huì)。1957年撤銷(xiāo)柴達(dá)木盆地工作委員會(huì)，改設(shè)柴達(dá)木盆地行政委員會(huì)，仍轄茫崖、格爾木、唐古拉山（駐溫泉）、馬海4工作委員會(huì)。
1958年，柴達(dá)木盆地行政委員會(huì)改名為柴達(dá)木行政委員會(huì)；撤銷(xiāo)德令哈臨時(shí)工作委員會(huì)，改設(shè)德令哈縣；同年11月設(shè)立縣級(jí)的茶卡工作委員會(huì)，領(lǐng)導(dǎo)原屬都蘭縣的茶卡和南柯柯、北柯柯、王家、希里溝4鄉(xiāng)。茶卡工作委員會(huì)駐希里溝，屬海西蒙藏哈薩克族自治州領(lǐng)導(dǎo)；海西蒙藏哈薩克族自治州轄3縣、1工作委員會(huì)。
1959年，海西蒙藏哈薩克族自治州人民委員會(huì)與柴達(dá)木行政委員會(huì)駐大柴旦合署辦公。撤銷(xiāo)茶卡工作委員會(huì)，改設(shè)烏蘭縣（駐希里溝）；設(shè)立縣一級(jí)的冷湖市臨時(shí)工作委員會(huì)（駐冷湖）。都蘭縣駐地由香日德鎮(zhèn)遷察汗烏蘇；天峻縣駐地?zé)崮呛ジ拿略幻Ｑ鹿ぷ魑瘑T會(huì)由茫崖遷駐油砂山；唐古拉山工作委員會(huì)遷托托河沿。
1960年以馬海和格爾木工作委員會(huì)的部分地區(qū)設(shè)立大柴旦市；撤銷(xiāo)冷湖市臨時(shí)工作委員會(huì)，設(shè)立冷湖市；撤銷(xiāo)格爾木工作委員會(huì)，以原格爾木工作委員會(huì)的部分地區(qū)設(shè)立格爾木市。轄3市、4縣、3工作委員會(huì)。
1962年撤銷(xiāo)德令哈縣，并入烏蘭縣。1963年，撤銷(xiāo)柴達(dá)木行政委員會(huì)，海西蒙藏哈薩克族自治州改名為海西蒙古族藏族哈薩克族自治州，自治州人民委員會(huì)由大柴旦市遷駐烏蘭縣德令哈；原柴達(dá)木行政委員會(huì)所屬大柴旦、冷湖、格爾木3市和烏蘭、都蘭、天峻3縣劃歸海西蒙古族藏族哈薩克族自治州領(lǐng)導(dǎo)；自治州轄大柴旦、冷湖、格爾木3市，烏蘭（駐希里溝）、都蘭（駐察汗烏蘇）、天峻（駐新原）3縣和茫崖（駐油砂山）、馬海、唐古拉（駐托托河沿）3工作委員會(huì)。
1964年撤銷(xiāo)冷湖、大柴旦2市和馬海、茫崖2工作委員會(huì)，將冷湖、大柴旦、茫崖3地區(qū)分別設(shè)立冷湖、大柴旦、茫崖3鎮(zhèn)，由海西蒙古族藏族哈薩克族自治州直接領(lǐng)導(dǎo)。將馬海地區(qū)劃歸冷湖鎮(zhèn)領(lǐng)導(dǎo)。撤銷(xiāo)唐古拉山工作委員會(huì)，并入格爾木市。海西蒙古族藏族哈薩克族自治州轄格爾木市及烏蘭、都蘭、天峻3縣。
1965年撤銷(xiāo)格爾木市，改設(shè)格爾木縣。海西蒙古族藏族哈薩克族自治州轄烏蘭（駐希里溝）、都蘭（駐察汗烏蘇）、天峻（駐新原）、格爾木4縣。1966年4月，州府由大柴旦遷駐德令哈。
1984年5月，根據(jù)青、新兩省（區(qū)）座談會(huì)議紀(jì)要，州內(nèi)哈薩克族群眾全部遷回新疆，國(guó)務(wù)院遂于1985年4月24日批復(fù)（國(guó)函[1985]60號(hào)），將海西州更名為海西蒙古族藏族自治州，5月21日正式更名。
1988年4月19日，民政部批準(zhǔn)（民[1988]行批1號(hào)）設(shè)立德令哈市（縣級(jí)），以德令哈鎮(zhèn)和烏蘭縣的懷他頭拉、戈壁、郭里木、宗務(wù)隆、畜集五個(gè)鄉(xiāng)為德令哈市的行政區(qū)域。
1999年末，海西州面積325787平方千米，人口322609人（根據(jù)青海省志；另有一說(shuō)31.23萬(wàn)人），轄格爾木、德令哈2個(gè)縣級(jí)市，都蘭、烏蘭、天峻3個(gè)縣和茫崖、冷湖、大柴旦3個(gè)行政委員會(huì)，共有43個(gè)鄉(xiāng)鎮(zhèn)、3個(gè)街道。
2000年第五次全國(guó)人口普查，海西州總?cè)丝?32094人。其中：格爾木市135897人，德令哈市83585人，烏蘭縣36015人，都蘭縣57670人，天峻縣18927人；大柴旦（大柴旦鎮(zhèn)4405人、錫鐵山鎮(zhèn)3431人、魚(yú)卡鄉(xiāng)1105人）、冷湖（冷湖鎮(zhèn)2185人）、茫崖（花土溝鎮(zhèn)11131人、茫崖鎮(zhèn)5213人、尕斯鄉(xiāng)164人）。
2001年2月21日，青海省人民政府青政函[2001]11號(hào)文批復(fù)：①撤銷(xiāo)德令哈市懷頭他拉鄉(xiāng)，設(shè)立懷頭他拉鎮(zhèn)；撤銷(xiāo)郭里木鄉(xiāng)，設(shè)立并命名為尕海鎮(zhèn)（鎮(zhèn)政府設(shè)在尕海）。②撤銷(xiāo)天峻縣天棚、關(guān)角2鄉(xiāng)，合并設(shè)立并命名為新源鎮(zhèn)（鎮(zhèn)政府設(shè)在天峻縣縣城）。③撤銷(xiāo)都蘭縣夏日哈鄉(xiāng)，設(shè)立夏日哈鎮(zhèn)。④撤銷(xiāo)烏蘭縣巴音鄉(xiāng)，并入茶卡鎮(zhèn)。⑤將天峻縣生格鄉(xiāng)政府駐地遷至野馬灘（青新公路451千米處）。
2001年8月9日，青海省人民政府青政函[2001]81號(hào)文批復(fù)：格爾木市設(shè)立東城行政委員會(huì)、西城行政委員會(huì)和察爾汗行政委員會(huì)作為市人民政府的派出機(jī)構(gòu)。與此同時(shí)，青政函[1997]21號(hào)文件停止執(zhí)行。
2002年末，海西州轄3個(gè)街道、14個(gè)鎮(zhèn)、27個(gè)鄉(xiāng)，263個(gè)村（牧）委會(huì)、32個(gè)居委會(huì)。2003年末，海西州轄8個(gè)街道、14個(gè)鎮(zhèn)、27個(gè)鄉(xiāng)，277個(gè)村（牧）委會(huì)、63個(gè)社區(qū)。
2005年，德令哈市撤銷(xiāo)戈壁鄉(xiāng)設(shè)立柯魯柯鎮(zhèn)，將尕海鎮(zhèn)的民興、民樂(lè)、平原三個(gè)村劃歸柯魯柯鎮(zhèn)管轄，撤銷(xiāo)宗務(wù)隆鄉(xiāng)。格爾木市撤銷(xiāo)郭勒木德鄉(xiāng)設(shè)立郭勒木德鎮(zhèn)，撤銷(xiāo)唐古拉山鄉(xiāng)設(shè)立唐古拉山鎮(zhèn)。都蘭縣撤銷(xiāo)宗加鄉(xiāng)和諾木洪鄉(xiāng)設(shè)立宗加鎮(zhèn)，將香加鄉(xiāng)的幸福村劃歸香日德鎮(zhèn)管轄。烏蘭縣撤銷(xiāo)賽什克鄉(xiāng)并入柯柯鎮(zhèn)，撤銷(xiāo)銅普鄉(xiāng)設(shè)立銅普鎮(zhèn)。天峻縣撤銷(xiāo)尕河鄉(xiāng)并入蘇里鄉(xiāng)，撤銷(xiāo)木里鄉(xiāng)設(shè)立木里鎮(zhèn)，撤銷(xiāo)江河鄉(xiāng)設(shè)立江河鎮(zhèn)。大柴旦行委撤銷(xiāo)魚(yú)卡鄉(xiāng)，并入大柴旦鎮(zhèn)。茫崖行委撤銷(xiāo)尕斯鄉(xiāng)，并入花土溝鎮(zhèn)。