清末屬湘陰五里；民國初年，漢陽縣建立十八個(gè)區(qū)，屬第十區(qū)；1945年全縣分四鎮(zhèn)十九鄉(xiāng)，屬侏儒鄉(xiāng)；1949年全縣劃分為五區(qū)一鎮(zhèn)，屬四區(qū)；1952年屬東山鄉(xiāng)；1956年成立和平高級(jí)社；1958年人民公社化時(shí)，改名軍山大隊(duì)，屬幸福人民公社；1975年撤區(qū)并社，屬侏儒人民公社；1984年改軍山村，設(shè)軍山村村民委員會(huì)，屬侏儒鎮(zhèn)；1992年轄區(qū)內(nèi)居民點(diǎn)窯上、壩上合并為軍山街；2000年屬侏儒街道；2014年屬侏儒山街道至今。