漢晉以前為羌地。
周至漢代曾為“諾木洪文化”分布區(qū)。
南北朝時(shí)期為吐谷渾國(guó)屬地。
隋大業(yè)五年（609），隋軍破吐谷渾國(guó)，將其納入隋王朝版圖，格爾木地區(qū)隸西海郡威定縣。
隋亡后吐谷渾復(fù)其故地。
唐初吐蕃國(guó)興起，攻滅吐谷渾國(guó)，格爾木即被吐蕃統(tǒng)治。
北宋時(shí)格爾木曾一度隸屬于唃廝啰政權(quán)。
元代為吐蕃等處宣慰使司轄區(qū)。
明初屬曲先衛(wèi)轄區(qū)。
從正德七年（1512）始，格爾木成為東蒙古屬地。
明末清初，屬厄魯特蒙古和碩特部（西蒙古）屬地。
清雍正三年（1725）后，格爾木屬青海蒙古左翼盟和碩特西右中旗，俗稱臺(tái)吉乃爾旗。
1917年，格爾木隸屬都蘭理事管轄。
1952年，格爾木解放。
1956年3月1日，格爾木工作委員會(huì)成立，為縣級(jí)領(lǐng)導(dǎo)機(jī)構(gòu)。
1960年11月17日，撤銷(xiāo)格爾木工作委員會(huì)，改設(shè)格爾木市。
1964年6月5日，國(guó)務(wù)院批準(zhǔn)撤銷(xiāo)唐古拉山工作委員會(huì)，并將行政區(qū)域歸格爾木市。
1965年3月27日，格爾木市撤市設(shè)縣。
1980年6月14日，又撤縣設(shè)市。
1992年5月，格爾木被確定為青海省計(jì)劃單列市。
2000年9月，升為副地級(jí)市。
2001年8月，設(shè)立東城行政委員會(huì)、西城行政委員會(huì)和察爾汗行政委員會(huì)，作為市政府的派出機(jī)構(gòu)。