1949年前為哨馬鄉(xiāng)4保。
1950年為哨馬鄉(xiāng)4村。
1952年為香山鄉(xiāng)1村。
1956年農(nóng)業(yè)合作化時為大佛鄉(xiāng)聯(lián)合1、2、3社，1958年為大佛公社2大隊。
1962年為香山公社3大隊。
1966年文革時改名光華公社3大隊。
1981年地名普查時為香山公社香山大隊。
1984年公社改鄉(xiāng)為香山鄉(xiāng)香山村，屬羅渡區(qū)。
1992年，撤羅渡區(qū)，香山鄉(xiāng)并入大佛鄉(xiāng)，為大佛鄉(xiāng)香山寺村。
2019年大佛鄉(xiāng)并入羅渡鎮(zhèn)，為羅渡鎮(zhèn)香山村。
2020年5月，趙家溝村并入。