明初，此地有譚、黃、向、周、鄭、楊六大家族在此居住其中。
黃氏先祖由麻城孝感洗腳河隨著移民大軍遷徙四川，其中一支行進(jìn)到施南府便停下來(lái)，在此安居落業(yè)。
明屬湖廣都司施州衛(wèi)軍民指揮使司，清屬湖北省施南府恩施縣都亭里三甲。
民國(guó)初襲里甲制，民國(guó)十六年（1927）為楊家山聯(lián)保第八、九、十保，屬恩施縣第三區(qū)，老楊家山村為九保，落業(yè)壩為八保，石院墻為十保；民國(guó)二十五年（1936）為屯堡鄉(xiāng)第八、九、十保，屬第四西鄉(xiāng)區(qū)（屯堡）；民國(guó)二十九年（1940）裁區(qū)建鄉(xiāng)，為第八、九、十保，屬屯堡鎮(zhèn)1949年末，屬屯堡區(qū)楊家山鄉(xiāng)；1953年屬十一區(qū)（屯堡區(qū)）楊家山鄉(xiāng)。
1958年為楊家管理區(qū)，屬屯堡人民公社，下轄紅春、紅武、紅衛(wèi)、紅光4個(gè)大隊(duì)；1961年為楊家公社，屬屯堡區(qū)，下轄紅春、紅武、紅衛(wèi)、紅光4個(gè)大隊(duì)；1968年為楊家公社革命委員會(huì)，屬屯堡區(qū)革命委員會(huì)，下轄紅春、紅武、紅衛(wèi)、紅光4個(gè)大隊(duì)；1975為楊家管理區(qū)，屬屯堡公社，下轄紅春、紅武、紅衛(wèi)、紅光4個(gè)大隊(duì)；1981年為楊家管理區(qū)，屬屯堡公社，下轄楊家山、龍王塘、石院墻、伴云庵、落業(yè)壩5個(gè)大隊(duì)。
1984年屬屯堡區(qū)楊家山鄉(xiāng)，下轄楊家山村、龍王塘村、石院墻村、伴云庵村、落業(yè)壩村5個(gè)村。
1997年屯堡鄉(xiāng)楊家管理區(qū)屯堡辦事處，下轄楊家山村、龍王塘村、石院墻村、伴云庵村、落業(yè)壩村5個(gè)村。
1999年至2002屬屯堡聯(lián)合管理區(qū)楊家山鄉(xiāng)。
2002年屬屯堡鄉(xiāng)，將楊家山村、龍王塘村、石院墻村、伴云庵村、落業(yè)壩村合并為楊家山村。