迴溪村始建于1022年，（洪氏宗譜證明）。因村中有一小溪，河床較低，每遇漲水季節(jié)，出口處率水水位反比小河水位高，導(dǎo)致小河河水回流，故此得名迴溪。迴溪村共有4個自然村，在小溪上游有一自然村叫上迴溪，因該自然村以呂姓首居又叫呂家，與呂家毗鄰的一個自然村（約距迴溪1公里）叫臺子上，是元末明初名儒朱升故里，約離迴溪2公里處，還有一自然村以韓氏為主故得名韓村。
迴溪村有洪、朱、呂、韓、宋、方、崔、項、寧、占、汪等姓氏。2005年總戶數(shù)378戶，1307人。主姓洪氏，始遷祖洪元怡于唐朝因子孫繁衍從休寧黃石遷入。他屬于洪氏十一世后裔，又于宋朝時分為前、后兩門，前門以十六世祖洪克度為支祖，后門以洪克已為支祖，至今子孫前門已繁衍至45代，后門已繁衍至43代，2005年約存世380余人，南宋時期建立了洪家宗祠，元末時期分別建有前、后門和上、下門支堂，下門洪家廳建廳日期為朱升所擇，照壁上“紫微高照”四個大字和照壁柱上，“豎柱喜逢黃道日，上梁恰遇紫微星”的對聯(lián)也始于朱升所書。朱升，字允升，號楓林，迴溪村臺子上人，生于1299年，死于洪武三年公元1370年，是明朝開國皇帝朱元璋的高級謀臣，他為明王朝的建立立下了汗馬功勞。他向朱元璋獻的“高筑墻、廣積糧，緩稱王”九字策，相隔600多年后被一代偉人毛澤東所借鑒，弘揚了“九字策”精髓，號召全國人民深挖洞、廣積糧、不稱霸”深刻闡明了他一貫主張的政治、軍事、外交思想。
洪氏家族中歷史上有十六世洪克已生于紹興丁已年（1137年）登南宋進士、授永州教諭。十八世洪延年字明六，生于1208年，登元進士。二十世洪佛佑字善祥，生于1361年，明洪武十五年舉鄉(xiāng)貢任廣東韶州府樂昌縣丞，有德政、邑入名宦，祠后被考察天下清廉第一，調(diào)監(jiān)造南京城，嗣將大用以迪功郎。二十九世洪德新名九經(jīng)字君常號古雪生于萬歷七年已丙（公元1580年），九月歿于康熙壬寅年（公元1663年），為明朝內(nèi)閣中書改授郡司馬，康熙戊辰年恩賜絹米肉綿，深得好評，還精纂刻玉晶圖章，善詩文書法、晚年書法更蒼健入神。
客姓宗祠有朱家廳，宋家廳、方家廳等。
村中現(xiàn)存有2棵約千年左右樹齡的大紅豆杉樹和一棵二百年左右的大杉樹，水口還有一棵百年左右的大銀杏樹，原有水碓3個，（現(xiàn)已不存在）。水口有一條寬約25米的小河，兩邊是高山，原有一條石板路，是休婺道的必經(jīng)之路，1982年建成鄉(xiāng)級公路現(xiàn)為鄉(xiāng)道四級瀝清路。村中有一座始建于乾隆年間的古石拱橋名成溪橋，長8米，寬4米，現(xiàn)保存完好。解放前有私塾1所，現(xiàn)為迴溪中心小學(xué)，該小學(xué)始建于1950年8月，首任校長洪觀好（又名洪興良）。村口原有尼姑庵1座，對面有和尚廟1座，分別建于清朝年間，現(xiàn)已拆毀。原有八角亭1個（始建于宋朝），呂家大圣亭和韓村陰山亭各1座，均始建于清朝年間，也已拆毀。
臺子上自然村有“望星臺”勝跡，為朱升早年所筑，傳說朱升夜間常登臺望星斗，察看天象，因此該村得名“臺子上”。還有“釣魚臺”，傳說朱升小時候到迴溪村讀私塾放假時，常在此釣魚，還有“筆架石”、“硯臺石”等遺跡。
迴溪自然村中有“大賢廟”和“避賢臺”等遺跡。傳說朱元璋攻打婺源時，久戰(zhàn)不下，便拜訪朱升，朱升留下錦囊計后，躲在迴溪一個廟中，又怕被人發(fā)現(xiàn)，便又躲在河對面一個大石壁底下，地面是一塊大平石，看到朱元璋等人走后才回到家中，后人將該廟取名為“大覽廟”，將大平石板取名“避賢臺”。韓村自然村有一條通往溪口鎮(zhèn)祖源村的石嶺，朱元璋曾路過此，為思念朱升，他便將此嶺取名為“思賢嶺”。
1952年4月迴溪鄉(xiāng)曾設(shè)在此村，1961年又在該村設(shè)立人民公社。1983年至1991年和1996至2004年曾兩次在該村設(shè)立鄉(xiāng)政府。
該村1968年曾發(fā)生過震驚原徽州地區(qū)的迴溪“七一二”事件，有46人受株連，31名無辜群眾遭到非法關(guān)押，受到了捆、綁、跪、吊、打等殘酷折磨，時間最長者達120多天，還有1人自縊身亡。1969年原徽州地區(qū)派出聯(lián)合調(diào)查組，對事件的-進行調(diào)查后，給予平反昭雪，制造事件的原迴溪公社主要領(lǐng)導(dǎo)和直接責(zé)任人均受到了黨紀政紀處分。