秦以前為古羌人居地。
漢宣帝神爵二年（前60），州北部為河關縣地，隸金城郡。
王莽末年，州境為羌人所據。
東漢建武十年（34）冬，恢復河關縣，改隸隴西郡。
（《后漢書·郡國志》）東漢末及三國時，州境復為羌地，在史書所稱的“大、小榆谷”范圍內。
西晉末、東晉初，州境陸續(xù)成為吐谷渾屬地。
后涼時（386-403），州北部為澆河郡（轄縣無考）所轄，南部仍為吐谷渾地。
南涼、北涼因之。
北魏太平真君五年（444），原澆河郡地入北魏版圖。
后來又失于吐谷渾。
北周建德五年（576），在今貴德設廓州，轄洮河、達化2郡，2郡下轄洮河、廣威等5縣，今同仁縣及其以北地區(qū)即為其中達化郡所轄；州境南部地區(qū)仍為吐谷渾地。
隋開皇三年（583），設達化縣，黃南州北部歸達化縣轄，隸廓州。
大業(yè)五年（609），隋在吐谷渾故地設置郡縣。
黃南州南部地區(qū)為河源郡赤水縣轄區(qū)。
唐武德二年（619），沿隋仍置達化縣。
貞觀五年（631），設米川縣，黃南州西北歸達化縣轄，隸廓州（后稱寧塞郡，治今化隆縣群科鎮(zhèn)）；州東北部歸米川縣，隸米州。
貞觀十年（636），米川縣改隸河州（治今甘肅省臨夏市），永徽六年（655），改隸廓州。
州南部仍為吐谷渾地。
龍朔三年（663），吐蕃攻滅吐谷渾國，州南部遂成為吐蕃國轄區(qū)。
廣德元年（763），廓州也陷入吐蕃。
北宋初，黃南州地區(qū)為唃廝啰政權勢力范圍。
宋徽宗大觀二年（1108），今黃南州北部為積石軍地。
北宋亡后，積石軍入金，隸臨洮路。
金大定二十二年（1182），改積石軍為積石州，黃南州地區(qū)隸屬于金。
元代黃南州境均為吐蕃等處宣慰使司轄區(qū)，隸宣政院。
明洪武七年（1374），州南部為朵甘行都指揮使司轄區(qū)，北部為歸德守御千戶所地。
明末清初，州南部為衛(wèi)拉特蒙古和碩特部首領顧實汗轄區(qū)，北部仍為歸德千戶所地，隸河州衛(wèi)。
清雍正三年（1725），州南部為蒙古3旗駐牧地，隸欽差辦理青海蒙古番子事務大臣衙門管轄。
州北部自雍正四年后分隸河州撫番同知和歸德守御千總。
河州撫番同知于乾隆二十七年（1762），移駐循化，遂設循化廳，隸蘭州府（道光三年改隸西寧府）。
乾隆五十六年(1791)，置貴德廳，仍隸西寧府。
民國初，黃南州北部為循化縣和尖扎縣轄地，均隸西寧道；南部為“河南蒙旗”地，隸青海辦事長官（后依次改隸蒙番宣慰使、甘邊寧海鎮(zhèn)守使）。
1929年，青海建省，黃南州地區(qū)統(tǒng)歸青海省轄。
1930年，由循化縣析置同仁縣，直隸青海省。
1949年9月，黃南州地區(qū)解放。
1952年，由貴德縣析置尖扎區(qū)（同年7月，改為尖扎藏族自治區(qū)，次年6月，改為尖扎縣）。
1953年8月8日，由同仁縣析置澤庫縣。
同年12月22日，設黃南藏族自治區(qū)（專區(qū)級），駐隆務，轄同仁、尖扎、澤庫3縣。
1954年10月成立河南蒙古族自治區(qū)（縣級），由青海省直轄。
1955年7月，將河南蒙古族自治區(qū)改為河南蒙古族自治縣，同年11月，改黃南藏族自治區(qū)為黃南藏族自治州。
1959年3月22日，國務院批準，將河南蒙古族自治縣交由黃南藏族自治州代管。
截至2011年底，黃南藏族自治州仍轄以上3縣，代管河南蒙古族自治縣。
2020年7月，原屬同仁縣撤縣設市后，轄1市3縣。