元屬吐蕃等處宣慰司轄。明洪武三年（1370年），設河州衛、改必里萬戶府為必里千戶所，轄黃南南部游牧部落。八年（1375年）改貴德為貴德守御千戶所，下設10屯，今黃南州有其7。宣德元年（1426年），今同仁、澤庫地區遂由隆務寺夏日倉活佛─隆務囊索代而治之，逐漸形成熱貢地區政教合一統治制度。萬歷年間（1537─1619年），黃南地區為蒙古土默特部洪薩巴圖爾控制。

清雍正四年（1726年）置駐西寧辦事大臣，今河南縣由該辦事大臣節制。今同仁、尖扎、澤庫地區先后屬甘肅臨洮府、西寧府、河州府、蘭州府，分別由貴德廳、循化廳轄治。1929年7月，由甘肅省析置青海省，由循化縣析置同仁縣，今河南縣由青海省直轄。1937年，青海省在隆務鎮設第七專員公署，轄同仁同德兩縣。

1949年黃南地區解放，1949年9月22日成立同仁縣人民政府，1952年3月17日成立同仁藏族自治區（縣級、1953年7月改為縣）。1952年7月3日由貴德縣析置尖扎藏族自治區（縣級、1953年7月改為縣），由同仁縣析置澤庫縣。1953年9月30日，政務院批準設立黃南藏族自治區（地級），自治區人民政府駐同仁縣隆務寺，轄尖扎、同仁、澤庫3縣；1953年12月22日正式成立。

1955年7月28日，國務院批準黃南藏族自治區更名為黃南藏族自治州。1954年10月成立河南蒙族自治區（縣級，1955年6月改稱自治縣）。1959年1月，經國務院批準，原由省直轄的循化撒拉族自治縣、河南蒙古族自治縣由黃南州代管。1962年12月，循化撒拉族自治縣又恢復省直屬地位。1964年，原由省直轄、委托黃南藏族自治州代管的河南蒙族自治縣更名為河南蒙古族自治縣。1987年設李家峽行委（縣級）。

1999年末，黃南藏族自治州面積17901平方千米，人口197516人（根據青海省志）。轄同仁縣、尖扎縣、澤庫縣、河南蒙古自治縣及李家峽行委。2000年第五次全國人口普查，黃南州總人口214642人。其中：同仁縣77040人、尖扎縣51064人、澤庫縣54288人、河南縣32260人。2000年，黃南州共39個鄉鎮，其中農業鄉鎮21個，牧業鄉18個。

2001年3月19日，青海省人民政府青政函[2001]21號文批復：①撤銷澤庫縣夏德日鄉，設立并命名為澤曲鎮（鎮政府駐地不變）。②撤銷河南縣智后茂鄉，設立并命名為優干寧鎮（鎮政府駐地不變）。③撤銷尖扎縣坎布拉、多加、直崗拉卡3鄉，合并設立坎布拉鎮（鎮政府駐地設在李家峽）；撤銷加讓鄉，并入馬克唐鎮。④撤銷同仁縣保安、麻巴2鄉，合并設立保安鎮（鎮政府駐地設在原保安鄉）。

2002年，撤銷李家峽行委。2006年8月，黃南州新增1個鎮，鄉鎮總數由35個（7鎮28鄉）調整為32個（8鎮24鄉）。同仁縣撤銷牙浪鄉，并入隆務鎮。澤庫縣撤銷恰科日鄉，并入澤曲鎮；撤銷多福順鄉，設立麥秀鎮。河南縣撤銷托葉瑪鄉，并入優干寧鎮。