清初稱“察霍勒屯”，“察霍勒”為蒙古語"水鸛鳥"之意。
清末設置驛站，為“布海（布特哈--海倫）官道”第三站，故又稱三站。
清初，克山一帶為鄂倫春、鄂溫克、達斡爾等游牧民族的狩獵區(qū)，歸布特哈總管管轄。
清光緒三十二年（1906），隸屬東布特哈總管管轄。
清宣統(tǒng)元年（1909），"布海官道"修竣后，在今克山鎮(zhèn)設第三站，翌年改隸訥河直隸廳管轄。
1913年訥河縣于此設置察霍鎮(zhèn)。
1915年3月，劃歸克山設治局，同年8月改隸克山縣，遂為縣城。
1929年全縣劃分為5個大區(qū)，屬第一區(qū)境內(nèi)。
東北淪陷后，1933年設縣城保，1938年改設克山街。
1945年"九三"抗日戰(zhàn)爭勝利后，1946年將克山街劃為第一區(qū)、第二區(qū)和城郊區(qū)。
1948年8月，將縣城內(nèi)第一區(qū)與第二區(qū)合并為城關區(qū)，1952年改為第一區(qū)。
1955年5月，改為城關鎮(zhèn)，同年10月改為克山鎮(zhèn)。
1958年9月，改稱克山鎮(zhèn)人民公社。
1980年恢復克山鎮(zhèn)名稱，名稱沿用至今。