故宅建于明代中叶，略晚于明景泰元年（1450年）。占地4200余平方米，建筑面积1100平方米，房屋建筑80余间。明末、清代、民国年间曾多次修葺。“文化大革命”期间遭到严重破坏。1978年后，县文物管理部门多次进行维修、扩建。1997年，被列为“汤阴一日五游”景点之一。2000年9月25日，河南省人民政府公布其为文物保护单位。同时，成立了岳飞纪念馆，负责岳飞故宅建筑群的保护、维修和管理。岳飞故宅建筑群坐北朝南，分东西两院，西院为明、清建筑，有山门、大殿、四字祠、孝娥祠等；东院为仿古建筑扩建部分，有大门、为国效忠祠、为母尽孝祠等，另有长廊建筑36间。后院为岳飞故居，仿宋草顶建筑，1997年修建，建有北屋、伙房、东厢房、西厢房及院落，立有岳母刺字、岳飞（少年）练字、习武等塑像，再现了岳飞少年生活的农家小院的场景。