因地處青海湖之南，故名海南。西漢神爵二年（公元前60年）金城郡設河關縣，轄今貴德、共和東部地區，受“護羌校尉”節制。元始四年（公元4年），置西海郡，其轄地包括今共和、興海兩縣的大部分地區。南梁大同六年（540年），吐谷渾國王夸呂在今共和縣石乃亥鄉建都伏俟城，海南地區均為其屬地。此后，曾數度為吐蕃屬地。元至元八年（1271年）設貴德州，轄今貴德、共和部分地區，屬陜西等處行中書省河州路管轄，其余牧區各地則直屬中央宣政院“吐蕃等處宣慰使司”管轄，稱必里萬戶府。明洪武八年（1375年）在貴德縣置歸德守御千戶所，轄今貴德、貴南、同德及黃南州的部分地區，屬陜西都指揮使河洲衛管轄，其余地區則屬答司麻萬戶府和必里衛管轄。

清初沿襲明制，雍正二年（1724年），在今貴德縣設欽差總理蒙古番子事務大臣公署，管理今海南州在內的廣大牧區，后經奏準遷往西寧。乾隆二十六年（1761年）改歸德為貴德。乾隆五十六年（1791年）置貴德廳、設扶番同知，轄今海南及黃南部分地區。辛亥革命以后，1913年改貴德廳為縣，1915年北洋政府在青海改變建制，海南地區歸甘邊寧海鎮守使和蒙番宣慰使管轄。民國二十七年（1938年）設青海第五、第七行政督察區。青海建省后于1929年、1935年、1939年先后設共和縣、同德縣、大河壩設治局、1945年大河壩設治局改為興海縣。

1949年9月今海南地區解放后，相繼建立了貴德、共河、興海、同德4縣人民政府。1953年7月，由貴德、同德兩縣劃出部分地區建立了貴南縣。1953年9月30日，政務院批準設立海南藏族自治區，12月正式設立，自治區人民政府駐共和縣恰卜恰，轄共和（原共和縣藏族自治區恢復為縣，駐恰卜恰）、貴德（駐河陰鎮）、貴南（由貴德縣南部設置，駐拉曲）、興海（原興海縣藏族自治區恢復為縣，駐大河壩）、同德（原同德縣藏族自治區恢復為縣，駐尕巴松都）5縣。1955年7月28日，經國務院批準自治區改稱海南藏族自治州。

1958年興海縣由大河壩遷駐子科灘。1959年將同德縣劃歸果洛藏族自治州，原屬果洛藏族自治州的瑪多縣劃入海南藏族自治州；貴南縣駐地遷茫拉。1962年同德縣由果洛藏族自治州劃回海南藏族自治州，將瑪多縣劃歸果洛藏族自治州；至此，海南藏族自治州轄共和（駐恰卜恰）、貴德（駐河陰）、貴南（駐茫拉）、同德（駐尕巴松都）、興海（駐子科灘）5縣。1979年3月隨龍羊峽水電站的建成，成立龍羊峽辦事處（1988年改為龍羊峽行政委員會），為州政府派出的縣級機構；至此，海南州共轄共和、貴德、興海、貴南、同德5縣和龍羊峽1行委。2002年，撤銷龍羊峽行委；至此，海南州共轄共和、貴德、興海、貴南、同德5縣。

1999年末，全州總面積41634平方千米（根據青海省志）。總人口85835戶381432人，其中少數民族251912人；鄉村人口300802人。轄共和、貴德、貴南、同德、興海五縣和龍羊峽行委。

2000年第五次全國人口普查，海南州總人口375426人。其中：共和縣111974人、同德縣48741人、貴德縣91552人、興海縣59580人、貴南縣63579人。

2001年1月9日，青海省人民政府青政函[2001]6號文批復：①撤銷貴德縣河西鄉，設立河西鎮。②撤銷貴南縣拉乙亥鄉、設立并命名為茫曲鎮；撤銷過馬營鄉，設立過馬營鎮。③撤銷同德縣巴水鄉，設立并命名為尕巴松多鎮。④撤銷共和縣恰卜恰鄉，并入恰卜恰鎮；撤銷倒淌河鄉，設立倒淌河鎮。⑤撤銷興海縣大河壩鄉，設立并命名為子科灘鎮（遷至子科灘）；撤銷河卡鄉，設立河卡鎮。

2002年4月25日，青海省人民政府青政函[2002]29號文批復同意撤銷龍羊峽行委，設立龍羊峽鎮（本站注：屬共和縣）；撤銷曲溝鄉并入龍羊峽鎮。

2006年8月，經青海省政府批準，海南州鄉鎮行政區劃將原有的40個鄉鎮（其中29個鄉、11個鎮）調整為36個鄉鎮（其中21個鄉、15個鎮）：撤銷共和縣英德爾鄉，設立塘格木鎮，鎮政府駐地遷至原塘格木農場場部所在地塘格木，實行鎮管村體制；撤銷共和縣東巴鄉，并入恰卜恰鎮；撤銷貴德縣常牧、東溝兩鄉，合并設立常牧鎮，鎮政府設在原東溝鄉政府駐地周屯，實行鎮管村體制；撤銷興海縣曲什安鄉，設立曲什安鎮，實行鎮管村體制；撤銷興海縣桑當鄉，將桑當鄉的桑當、明星、夏塘、野馬臺4個村劃歸興海縣唐乃亥鄉，并將桑當鄉的切卜藏村劃歸興海縣子科灘鎮管轄；撤銷同德縣唐干、谷芒兩鄉，合并設立唐谷鎮，鎮政府設在原谷芒鄉政府駐地谷芒，實行鎮管村體制。