绩溪胡氏的源流可追溯至龙川胡氏的始祖胡焱,他曾经担任散骑常侍兼中领军,随晋元帝南下,被派遣镇守安徽歙县,后来这片土地被更名为徽州。公元337年,胡焱在华阳镇(今绩溪县城)迎娶汪氏为妻,婚后他前往东部约10公里的龙川游玩,这里给他留下了深刻的印象。
龙川以其独特的地理位置吸引着胡焱,"东耸龙峰,西峙凤冠,南有天马奔腾,北有长溪(登源河)蜿蜒"的山水风光让胡焱认定这是个风水宝地。于是,他决定举家迁往龙川,从此,这个村落便成为了胡氏家族的繁衍之地。在古徽州的建筑理念中,水源被视为至高无上的元素,龙川依傍登源河而建,仿佛一艘停靠在历史长河岸边的大船。
龙川胡氏以人才辈出而闻名,尤其在科举考试中屡创佳绩,被称为"进士村"。自宋、明、清三个朝代,他们已产出11位进士,其中最具影响力的人物包括明朝的户部尚书胡富,抗倭名将胡宗宪,以及都御史巡抚辽东的胡宗明。村内至今仍保留着为胡富和胡宗宪建造的奕世尚书坊,这座徽派石雕的精品已有400多年的历史,见证了胡氏家族的辉煌与荣耀。
绩溪在历史上属徽州府,这个县虽然不大,却出过不少名人,尤其以胡姓为多。如北宋名臣胡舜陟、南宋文学家胡仔、明朝户部尚书胡富和兵部尚书胡宗宪、清代徽墨名家胡开文和红顶商人胡雪岩、近现代著名学者胡铁花和胡适等都出自绩溪的胡氏家族。绩溪县是全国胡姓最重要的聚居地之一,在这里,胡姓被公认为是家族最大、人数最多的姓氏(约占全县总人口的15%)。在安徽绩溪一带居留下来的胡氏族人,慢慢分成四个支脉,被称为“绩溪四胡”,即“龙川胡”、“金紫胡”、“遵义胡”和“明经胡”。