绩溪胡氏的源流可追溯至龙川胡氏的始祖胡焱，他曾经担任散骑常侍兼中领军，随晋元帝南下，被派遣镇守安徽歙县，后来这片土地被更名为徽州。公元337年，胡焱在华阳镇(今绩溪县城)迎娶汪氏为妻，婚后他前往东部约10公里的龙川游玩，这里给他留下了深刻的印象。
龙川以其独特的地理位置吸引着胡焱，"东耸龙峰，西峙凤冠，南有天马奔腾，北有长溪(登源河)蜿蜒"的山水风光让胡焱认定这是个风水宝地。于是，他决定举家迁往龙川，从此，这个村落便成为了胡氏家族的繁衍之地。在古徽州的建筑理念中，水源被视为至高无上的元素，龙川依傍登源河而建，仿佛一艘停靠在历史长河岸边的大船。
龙川胡氏以人才辈出而闻名，尤其在科举考试中屡创佳绩，被称为"进士村"。自宋、明、清三个朝代，他们已产出11位进士，其中最具影响力的人物包括明朝的户部尚书胡富，抗倭名将胡宗宪，以及都御史巡抚辽东的胡宗明。村内至今仍保留着为胡富和胡宗宪建造的奕世尚书坊，这座徽派石雕的精品已有400多年的历史，见证了胡氏家族的辉煌与荣耀。
绩溪在历史上属徽州府，这个县虽然不大，却出过不少名人，尤其以胡姓为多。如北宋名臣胡舜陟、南宋文学家胡仔、明朝户部尚书胡富和兵部尚书胡宗宪、清代徽墨名家胡开文和红顶商人胡雪岩、近现代著名学者胡铁花和胡适等都出自绩溪的胡氏家族。绩溪县是全国胡姓最重要的聚居地之一，在这里，胡姓被公认为是家族最大、人数最多的姓氏(约占全县总人口的15%)。在安徽绩溪一带居留下来的胡氏族人，慢慢分成四个支脉，被称为“绩溪四胡”，即“龙川胡”、“金紫胡”、“遵义胡”和“明经胡”。