漢時為車師后王國，西突厥建可漢浮圖城。
唐貞觀十四年（640）置庭州并設(shè)金滿縣，長安二年（702）置北庭都護府于今后堡子古城。
景龍三年（709）升為大都護府。
宋遼屬高昌回鶻。
元設(shè)別失八里行尚書省，治所在后堡子古城。
明代是蒙古和碩特部游牧地。
清乾隆三十七年（1772）筑愷安城。
清乾隆四十一年（1776）設(shè)濟木薩縣丞，屬阜康縣。
清光緒二十年（1894）改名孚遠(yuǎn)。
清光緒二十八年（1902）置孚遠(yuǎn)縣，屬迪化府。
1929年屬迪化行政區(qū)。
1950年屬迪化專區(qū)，全縣設(shè)置5區(qū)、17鄉(xiāng)。
1953年孚遠(yuǎn)改稱吉木薩爾縣，歸烏魯木齊專區(qū)管轄。
1954年轄7區(qū)24個鄉(xiāng)。
1956年設(shè)吉木薩鎮(zhèn)。
1958后轄7個人民公社。
1965年恢復(fù)吉木薩爾鎮(zhèn)，共轄1鎮(zhèn)，5個公社，1984年全縣恢復(fù)鄉(xiāng)級政權(quán)后，共轄3鎮(zhèn)、6鄉(xiāng)。