道光三十年十二月十日（1851年1月11日），以广州塾师洪秀全为首的农民，在广西桂平紫荆山麓金田村树旗造反，建号太平天国，军曰太平军，经过两年多的战斗，便从广西一隅直入长江流域，定都南京，建立了一个与清朝抗衡之政权，并开始北伐西征。

当时清朝的达官贵人和主要支柱绿营兵腐朽不堪，于是咸丰帝一面用高官厚禄和严刑峻法来制止文官武将和绿营兵的溃逃，驱使他们继续为国效力；另一面努力争取汉族士绅的支持，动员他们凭藉自己在本乡本地的的政治、经济和宗族势力，“结寨团练”，“搜查土匪”，配合清军镇压太平军。
咸丰三年（1853年），从武汉顺江东下的太平军占领安庆，杀死巡抚蒋文庆。咸丰帝诏谕工部左侍郎吕贤基前往安徽，办理团练防剿事宜。吕贤基以李鸿章籍隶安徽，熟悉乡情，奏请随营帮办一切，遂受命回籍办团练。多次领兵与太平军作战。

咸丰八年（1858年）冬，李鸿章入曾国藩幕府襄办营务，负责起草文书。他生活散漫，晚睡懒起，曾国藩教训他：“少荃，既入我幕，我有言相告，此处所尚惟一诚字而已。”言讫拂袖而去，李鸿章“为之悚然”。其后安徽巡抚翁同书（同治帝、光绪帝之师翁同龢长兄）对太平天国战争时弃城逃跑，曾国藩起草《参翁同书片》时采用李鸿章之草稿：“臣职份所在，例应纠参，不敢以翁同书之门第鼎盛瞻顾迁就”（当时翁同书之父翁心存正处高位），并因此更欣赏李鸿章的才华。但李鸿章也因此与翁同龢结下不共戴天之仇，日后翁同龢处处刁难北洋水师，乃至甲午一战，一败涂地。
咸丰十年（1860年），李鸿章统带淮扬水师。湘军占领安庆后，被曾国藩奏荐“才可大用”，命回合肥一带募勇。

同治元年（1862年），编成淮勇五营，曾国藩以上海系“筹饷膏腴之地”，命淮勇乘英国轮船抵达上海，自成一军，称为淮军。旋经曾国藩推荐任江苏巡抚。在掌握地方实权后，在江苏大力扩军，采用西方新式枪炮，俨然乃新式陆军，使淮军在2年内由6000多人增至六、七万人，成为清军中装备精良、战斗力较强的一支地方武装（后来的淮系军阀集团在此基础上逐渐形成）。李鸿章到上海后，同外国雇佣军（后组建为常胜军）进攻太平军。
同治二年（1863年）和三年（1864年），李鸿章率淮军攻陷苏州、常州等地，和湘军一起基本剿灭太平天国。接着李鸿章又镇压了捻军，因功加封为协办大学士，且保住了即将崩溃的清王朝，因此被誉为“中兴名臣”。