据史书记载，纪晓岚先后有一位夫人和六房妾。纪晓岚的夫人姓马，马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友(在北京纪晓岚故居，四合院中一株海棠，便是与文鸾所种）。郭彩符是纪的侍姬之一，沈明玕是纪的另一侍姬。[4]

纪晓岚有四个儿子，长子汝佶，乾隆乙酉举人，早逝，有《半舫诗钞》留世；次子汝传，曾任九江府通判和江宁府同知；三子汝似，曾任广东县丞；四子汝亿。长女嫁两淮盐运使卢见曾(雅雨)之孙卢荫文(举人)；次女嫁内阁中书，军机章京袁煦；三女许婚戈源之子，年十岁未嫁而死。另有一孙十一人，其孙纪树馨，荫生，官刑部云南司郎中，宜昌府知府。父亲纪容舒（1685—1764），康熙五十二年（1713年）恩科举人，历任户部、刑部属官，外放云南姚安知府，为政有贤声。其道德文章，皆名一时，尤长考据之学，著有《唐韵考》、《杜律疏》、《玉台新咏考异》等书。至纪容舒，纪氏家道衰而复兴，更加重视读书，遗训尚有“贫莫断书香”一语。[