乾隆三十三年（1768年）因给亲家卢见曾通风报信而卷入盐政亏空案被发配新疆伊犁地区，于沿途积极与当地人交流，曰“如是我闻”，写了不少的作品，后整理成册，即为著名的《阅微草堂笔记》。纪昀反对理学，《阅微草堂笔记》和《四库全书总目提要》中有相当深刻的反映。

二年后因乾隆帝修书需要，由刘统勋荐举，将其从新疆召回，乾隆三十六年（1771年），六月初至京师，暂居珠巢街。受诏校秘书。乾隆三十八年（1773年）起，任《四库全书》馆的总纂官，收书三千五百零三种，共七万九千三百三十七卷；又修《四库全书总目提要》、《热河志》。历任编修、左庶子、兵部侍郎、左都御史、礼部侍郎、尚书。

清仁宗嘉庆元年（1796年），任兵部尚书，移任左都御史。次年，又迁任吏部尚书。嘉庆十年（1805年），任协办大学士、加太子少保。同年在燕京病卒，享寿八十一岁。生前自撰挽联：“浮沉宦海如鸥鸟，生死书丛似蠹鱼。”朝廷赐白银五百两治丧，予谥文达。《清史稿》有传。