始建于宋，明嘉靖年间兵部尚书胡宗宪倡导捐资修建。宗祠坐北朝南，三进七开间，总面积1564平方米。集徽派砖、木、石三雕和彩绘为一体，尤以600多件木雕最为精湛。

宗祠门楼的额枋上，雕饰胡宗宪抗倭灭寇的作战场面，千军义勇，万马驰骋，气势磅礴；享堂东西两序的隔扇，用浮雕的技法，将徐渭的荷花“出淤泥而不染”的高贵品格刻画得淋漓尽致；祭龛前首一排“百鹿图”隔扇，造型逼真，姿态各异；以及寝楼隔扇的“百瓶图”，百花百瓶无一雷同，其高超的雕刻技艺，可谓是“天工人可代，人工天不如”。宗祠内还保存有徐渭、文征明等名家手迹匾额。

胡氏宗祠享有“木雕艺术博物馆”和“民族艺术殿堂”的美誉。1988年1月13日被国务院评为国家重点文物保护单位。