圖木舒克市歷史悠久，西漢時期，圖木舒克是古西域三十六國之一的“尉頭國”所在地；三國北魏時屬龜茲；隋屬疏勒；唐朝時是安西都護府屬下的“郁頭州”；宋時又歸疏勒；元、明時期分別歸察合臺汗國、葉爾羌汗國、準噶爾辦事大臣管轄范圍。
1759年，清朝政府平息大小和卓之亂后，歸葉爾羌辦事大臣管轄。
1997年，中共中央下發(fā)《中共中央、國務院關(guān)于進一步加強新疆生產(chǎn)建設兵團工作的通知》。
決定在兵團農(nóng)三師小海子墾區(qū)建立圖木休克市。
1998年5月20日，兵團黨委同意成立農(nóng)三師前海墾區(qū)管理局，負責圖木休克市的籌建工作。
2002年9月17日，國務院批準設立自治區(qū)縣級直轄市圖木休克市（中發(fā)【1997】17號文件中為圖木休克市，根據(jù)地名從雅的慣例，兵團辦公廳建議改為圖木舒克市作為標準地名），市人民政府駐齊干卻勒。
2004年1月19日，圖木舒克市舉行成立掛牌儀式，沿用至今。