光绪十年（1884年），朝鲜爆发“甲申事变”，对朝鲜时存觊觎之心的日本，乘机出兵。1885年，李鸿章和伊藤博文订立了《中日天津会议专条》，规定朝鲜若有重大事变，中日双方出兵需要事先知照。为甲午战争爆发结下祸胎。

光绪二十年（1894年），朝鲜爆发东学党起义，朝鲜政府请求中国出兵帮助镇压，李鸿章过于听信驻朝专员袁世凯的报告，认为日本“必无他意”，遂派直隶提督叶志超和太原镇总兵聂士成率军1500人赴朝。不料，日本此后立即向朝鲜派兵，在朝日军增至8000余人，事态趋于严重。李鸿章为设法避免战争，曾通过英、俄两国出面斡旋，但为日本拒绝。无奈下，只得增派军队入朝，和日本相抗衡。六月二十三日（公历7月25日），日本军舰在丰岛发动突然袭击，击沉中国运兵船“高升”号，甲午战争爆发。

八月十六日（公历9月15日），驻朝陆军在平壤与日军激战数昼夜后溃败，总兵左宝贵战死，统帅叶志超等逃回国内。八月十八日（公历9月17日），北洋舰队与日本海军主力在黄海大东沟附近海域遭遇,丁汝昌执行李鸿章“保船制敌”的方针，但北洋海军在弹药不足，在此情况下与日本舰队进行了一场长达5个小时的海上会战，结果极大地影响了战斗力的发挥，也加重了损失的程度”。中国军舰沉没4艘，日本舰队亦遭重创。此后，清军在鸭绿江、九连城等战场与日军激烈交战，但终未能挡住日军的攻势。最终，旅顺、威海等重要海军基地失守，北洋水师覆灭。

究其原因，北洋舰队的覆灭与朝廷旧官员是分不开的，众大臣将北洋舰队视为李鸿章的私家军，挑拨其与慈禧的关系，提醒慈禧心加戒备。同时掌管户部的翁同龢念与李鸿章私人恩怨时常克扣军费，导致北洋舰队多数舰艇老化，在为慈禧准备的万寿庆典的颐和园中，清朝库银首要用途就是修建颐和园，在财政入不敷出的情况下，想要维护北洋舰队的先进战备是不可能的。另外，丁汝昌战前提出在主要舰船上配置速射炮以抵消日舰速射炮的优势，需银六十万两。翁同龢鉴于与李鸿章有些私人恩怨未批。北洋舰队在黄海海战中战败，李鸿章才上奏前筹海军巨款分储各处情况：“汇丰银行存银一百零七万两千九百两；德华银行存银四十四万两；怡和洋行存银五十五万九千六百两 ；开平矿务局领存五十二万七千五百两；总计二百六十万两。”

光绪二十一年二月十八日，李鸿章受命，作为全权大臣赴日本议和。尽管行前清廷已授予李鸿章割地赔款的全权，但他仍期望“争得一分有一分之益”，与日方代表反复辩论。在第三次谈判后，李鸿章于会住处的路上遇刺，世界舆论哗然，日方因此在和谈条件上稍有收敛。三月十六日，李鸿章伤稍愈，双方第四次谈判，日方对中国赔款2亿两白银(原本是3亿两)，割让辽东半岛及台湾澎湖等要求表示不再让步，日方和谈代表伊藤博文谓，李鸿章面前“但有允与不允两句话而已”。事后日方继以增兵再战进行恫吓。李鸿章等连发电报请示，光绪皇帝同意签约，命令“即遵前旨与之定约”。

面对日方提出的苛刻条件，中方只有“允”和“不允”两种选择，而丝毫没有讨价还价的余地，李公一直磨到点灯时分，口干舌燥地要求再削减五千万两，实在达不目的了，又说减少二千万两也行，最后甚至满眼含泪向伊藤博文哀求，看到我这把老骨头的面子上，多少减一点儿，算送给我回国的路费吧。可以说他是忠实地执行了清廷的电旨：“争得一分有一分之益”，但人家根本不为所动。老人家何等可怜！日方更以中方代表能否安全回国相要挟，李氏父子只得无可奈何的在《马关条约》上签了字。（此段为《走向共和》电视中的故事，并非史实）