春秋戰(zhàn)國時期就有許多民族在河西地區(qū)活動，肅南裕固族自治縣曾是烏孫、月氏游牧地，后為匈奴所據(jù)。
西漢時期，漢武帝派遣張騫出使西域，先后擊敗了占據(jù)河西地區(qū)的匈奴王休屠和渾邪。
西漢元鼎六年（前111年），設(shè)張掖郡，祁連山一帶正式歸入中原版圖。
其后河西回鶻（裕固族先民）曾攻入甘州，隨后占據(jù)河西走廊西部，并立國，設(shè)牙帳于張掖，統(tǒng)治河西約140余年。
辛亥革命后，設(shè)甘涼道和安肅道，肅南地區(qū)大部分屬安肅道管轄，隸屬酒泉、高臺、臨澤、張掖、民樂各縣。
1949年中華人民共和國成立后，今肅南裕固族自治縣所屬的祁豐、明花、大河、康樂、馬蹄等區(qū)都以原有的各少數(shù)民族部落為基礎(chǔ)，建立了區(qū)、鄉(xiāng)基層人民政權(quán)，區(qū)、鄉(xiāng)行政領(lǐng)導(dǎo)人從各民族中的優(yōu)秀分子和部落頭目、宗教上層人士中選出。
1952年，成立了中共肅南縣工作委員會。
1953年7月18日，決定在裕固族聚居的原高臺縣第六區(qū)、酒泉縣祁明區(qū)、張掖縣康樂區(qū)的基礎(chǔ)上成立裕固族自治區(qū)（縣級）。
1954年2月，成立肅南裕固族自治區(qū)（縣級），酒泉祁明區(qū)（今明花鄉(xiāng)）、高臺第六區(qū)（今大河鄉(xiāng)）、張掖康樂區(qū)（今康樂、白銀兩鄉(xiāng)）為肅南裕固族自治區(qū)的行政區(qū)域。
1955年5月，改肅南裕固族自治區(qū)為“肅南裕固族自治縣”。
1957年，又將原屬民樂、張掖管轄的馬蹄區(qū)劃歸肅南裕固族自治縣。
1959年，肅南裕固族自治縣與青海省的行政區(qū)劃進行了一次大的調(diào)整，將托勒、八字墩、友愛劃歸青海省，將青海省的城灘草原移交肅南縣。