清湖潘氏宗祠座落在该村的旧围内，面宽6.8米，深18米，面积122.4平方米，最近的修复是1934年。
祠堂共两进，硬山顶，灰塑船形脊梁，砖木结构，有前堂、天井和后堂。头门有“掷果盈车”（潘安貌美典故）横额，两侧有“宋朝昭武列，晋代著文封”对联。前堂门前立有两条红石檐柱，门内左右各有耳房，后堂敞开，前端有红石檐柱和内柱各两条支撑。檐口有瓦当封口，檐眉雕花，架梁浮雕花卉图案，工艺精良。该祠建于何时已无文字可考，据村民口述和按建筑风格推算，属清乾隆年间（1750－1770）建筑。
潘氏宗祠在集体化时期作过供销社使用，砖墙、石柱稍受腐蚀，部分外表已结咸硝、剥落，但梁桁枋柱仍榫卯密实，砖石浆砌也很坚牢。