秦屬會稽郡婁縣。
梁天監(jiān)六年（507）屬信義郡信義縣，大同二年（536）屬昆山縣。
唐天寶十年（751）昆山縣治移此。
元朝為昆山州治。
清雍正二年（1724）分昆山縣置新陽縣，分屬2縣，為兩縣縣治所在地。
宣統(tǒng)二年（1910），分屬玉山市及巴城、周墅、陸家橋、正義、蓬閬等鄉(xiāng)。
1912年，屬昆山縣。
1929年，境分屬昆山縣第一、第二、第八、第九、第十區(qū)。
1945年，分屬鹿城區(qū)、蓬閬區(qū)、巴城區(qū)、正義區(qū)。
1947年，境分屬玉山鎮(zhèn)及城北、城南，茜步、正義、南星、夏溪等鄉(xiāng)。
1949年5月，屬昆山縣城區(qū)。
1956年9月，為縣屬玉山鎮(zhèn)。
1958年，城北、城南鄉(xiāng)與玉山鎮(zhèn)合并建馬鞍山公社。
1959年6月，撤馬鞍山公社分建玉山鎮(zhèn)。
1986年10月，城南鄉(xiāng)并入玉山鎮(zhèn)。
2000年8月，城北鎮(zhèn)并入玉山鎮(zhèn)。
2003年12月，正儀鎮(zhèn)婁江以南7個村和陸楊鎮(zhèn)西南部（楊林塘以南）3個村并入玉山鎮(zhèn)。
2012年，經(jīng)批準(zhǔn)，昆山高新區(qū)與玉山鎮(zhèn)實(shí)行“區(qū)鎮(zhèn)合一、以區(qū)為主”管理體制，保留玉山建制鎮(zhèn)。