秦以前為古羌人居地。
漢宣帝神爵二年（前60），州北部為河關(guān)縣地，隸金城郡。
王莽末年，州境為羌人所據(jù)。
東漢建武十年（34）冬，恢復(fù)河關(guān)縣，改隸隴西郡。
（《后漢書(shū)·郡國(guó)志》）東漢末及三國(guó)時(shí)，州境復(fù)為羌地，在史書(shū)所稱的“大、小榆谷”范圍內(nèi)。
西晉末、東晉初，州境陸續(xù)成為吐谷渾屬地。
后涼時(shí)（386-403），州北部為澆河郡（轄縣無(wú)考）所轄，南部仍為吐谷渾地。
南涼、北涼因之。
北魏太平真君五年（444），原澆河郡地入北魏版圖。
后來(lái)又失于吐谷渾。
北周建德五年（576），在今貴德設(shè)廓州，轄洮河、達(dá)化2郡，2郡下轄洮河、廣威等5縣，今同仁縣及其以北地區(qū)即為其中達(dá)化郡所轄；州境南部地區(qū)仍為吐谷渾地。
隋開(kāi)皇三年（583），設(shè)達(dá)化縣，黃南州北部歸達(dá)化縣轄，隸廓州。
大業(yè)五年（609），隋在吐谷渾故地設(shè)置郡縣。
黃南州南部地區(qū)為河源郡赤水縣轄區(qū)。
唐武德二年（619），沿隋仍置達(dá)化縣。
貞觀五年（631），設(shè)米川縣，黃南州西北歸達(dá)化縣轄，隸廓州（后稱寧塞郡，治今化隆縣群科鎮(zhèn)）；州東北部歸米川縣，隸米州。
貞觀十年（636），米川縣改隸河州（治今甘肅省臨夏市），永徽六年（655），改隸廓州。
州南部仍為吐谷渾地。
龍朔三年（663），吐蕃攻滅吐谷渾國(guó)，州南部遂成為吐蕃國(guó)轄區(qū)。
廣德元年（763），廓州也陷入吐蕃。
北宋初，黃南州地區(qū)為唃廝啰政權(quán)勢(shì)力范圍。
宋徽宗大觀二年（1108），今黃南州北部為積石軍地。
北宋亡后，積石軍入金，隸臨洮路。
金大定二十二年（1182），改積石軍為積石州，黃南州地區(qū)隸屬于金。
元代黃南州境均為吐蕃等處宣慰使司轄區(qū)，隸宣政院。
明洪武七年（1374），州南部為朵甘行都指揮使司轄區(qū)，北部為歸德守御千戶所地。
明末清初，州南部為衛(wèi)拉特蒙古和碩特部首領(lǐng)顧實(shí)汗轄區(qū)，北部仍為歸德千戶所地，隸河州衛(wèi)。
清雍正三年（1725），州南部為蒙古3旗駐牧地，隸欽差辦理青海蒙古番子事務(wù)大臣衙門(mén)管轄。
州北部自雍正四年后分隸河州撫番同知和歸德守御千總。
河州撫番同知于乾隆二十七年（1762），移駐循化，遂設(shè)循化廳，隸蘭州府（道光三年改隸西寧府）。
乾隆五十六年(1791)，置貴德廳，仍隸西寧府。
民國(guó)初，黃南州北部為循化縣和尖扎縣轄地，均隸西寧道；南部為“河南蒙旗”地，隸青海辦事長(zhǎng)官（后依次改隸蒙番宣慰使、甘邊寧海鎮(zhèn)守使）。
1929年，青海建省，黃南州地區(qū)統(tǒng)歸青海省轄。
1930年，由循化縣析置同仁縣，直隸青海省。
1949年9月，黃南州地區(qū)解放。
1952年，由貴德縣析置尖扎區(qū)（同年7月，改為尖扎藏族自治區(qū)，次年6月，改為尖扎縣）。
1953年8月8日，由同仁縣析置澤庫(kù)縣。
同年12月22日，設(shè)黃南藏族自治區(qū)（專區(qū)級(jí)），駐隆務(wù)，轄同仁、尖扎、澤庫(kù)3縣。
1954年10月成立河南蒙古族自治區(qū)（縣級(jí)），由青海省直轄。
1955年7月，將河南蒙古族自治區(qū)改為河南蒙古族自治縣，同年11月，改黃南藏族自治區(qū)為黃南藏族自治州。
1959年3月22日，國(guó)務(wù)院批準(zhǔn)，將河南蒙古族自治縣交由黃南藏族自治州代管。
截至2011年底，黃南藏族自治州仍轄以上3縣，代管河南蒙古族自治縣。
2020年7月，原屬同仁縣撤縣設(shè)市后，轄1市3縣。