在神山镇墟旁，始建于元朝初期，明清两代曾多次重修，近代比较大规模重修的是1947年和1980年。宗祠为三路二进，总面积1649平方米。全祠为后脚青砖，硬山顶，经装修后，雕梁画栋，十分壮观。在“卢祠大宗祠”石门额下，有木制对联“神州望族，山海名宗”，上款写“祖祠重修志庆”，下款署“神山少九房卢永业敬赠庚午年春卢苏书，花县罗洞卢大棠撰”。在前座屏风顶上挂有“光裕堂”木匾，屏风两旁有对联：“范阳流世泽，卢邑开宗，华夏支藩源北国；光裕振家声，珠玑派行，神山苗裔遍南疆”。在“光裕堂”木匾下，有孙中山元配夫人卢慕贞赠木匾一块，中书“爱慕宁亲”四字，上款书“民国二十二重建”，下款署“裔孙女慕贞偕男孙科赠”。据神山卢氏族谱载，神山卢氏大宗祠供奉始祖为依公，传至四世元辅移至现珠海市金鼎镇北山村开居，元辅第四子尔发又到该镇外沙村落户，传至耀显为二十一传，卢慕贞为耀显之长女云云。