据说他在签字前的最后关头，曾经老泪纵横地对使团的美国顾问科士达说：“万一谈判不成，只有迁都陕西，和日本长期作战，日本必不能征服中国，中国可以抵抗到无尽期。日本最后必败求和。”

也正是因为马关签约的强烈刺激，李鸿章发誓“终身不履日地”。两年后他出使欧美各国回来，途经日本横滨，再也不愿登岸，当时需要换乘轮船，要用小船摆渡，他一看是日本船，就怎么也不肯上，最后没有办法，只好在两艘轮船之间架了一块木板，75岁高龄老人，在呼呼悠悠地海面上，毅然决然地蹒跚着步子，慢慢腾腾地挪过去。

在他去世的第二年，吴汝纶东游日本考察教育，看到李公当年谈判时坐的凳子竟都要比日本人矮半截，不觉悲从中来，陪同的日本友人要他留下墨宝。他大书“伤心之地”。

1895年3月24日，李鸿章在日本商讨马关条约签定问题时，被刺客小山丰太郎开枪击中左面，血染官服，当场昏倒。一时间，现场大乱，行人四处逃窜，行刺者趁乱躲入人群溜之大吉，躲入路旁的一个店铺里。随行的医生马上替李鸿章进行急救，幸子弹未击中要害，李鸿章复原迅速。行刺事件发生后，日本警方很快抓到了小山丰太郎，据此人供认，他本人是日本右翼团体“神刀馆”的成员。他不希望中日停战，更不愿意看到中日议和，一心希望将战争进行下去，所以决定借刺杀李鸿章，挑起中日之间的进一步矛盾，将战争进行到底。

马关条约签订后，在全国引起强烈反响。康有为等发动公车上书，掀起维新变法的高潮。李鸿章虽然也视马关签约为奇耻大辱，发誓终生不再履日地，并倾向变法。马关条约导致国内民愤四起，而又不能指责清政府为慈禧倾尽国库一心筹备万寿庆典，故将矛头指向了李鸿章，李鸿章就在这样的情形下做了大清丧权辱国的替罪羊。甲午战后，李鸿章被解除了位居25年之久的直隶总督兼北洋大臣职务，投置闲散。

甲午战争对远东战略格局产生了深刻的影响，中国承认朝鲜为独立国家、撤出朝鲜半岛，并割让台湾、澎湖及其附属岛屿予日本，向日本开放多个中国内陆的港口城市，日本又获2.3亿两白银的战争赔款（其中三千万两为清朝换回辽东半岛的费用），经济迅速发展。而清军在甲午战争中的失败（北洋水师的覆灭）标志着1850年代起洋务运动技术改革并未完全成功，大清帝国的国际地位自此一落千丈，再次成为列强鲸吞蚕食的对象。清朝国内的改革派对自身的弱点有了更深的认识，积极进行政治制度的改革,即1898年的戊戌变法。

战败一次不可能标志着历时30多年，花费过亿银两，覆盖教育、课税、军事、科举等等方面的大洋务运动完全失败，而只是未完全成功，或者说，暂未成功。这么大的一场运动，大大超越改革开放的规模，所谓“功绩”，其绩可察于运动期间，因为屡屡有绩；其功未必可得于几十年内，因为国家太过庞大，所谓”一将功成万骨枯“，何况欲成泱泱华夏一国之功？！

这一次战败后，洋务运动各方各面的机器仍在运转，未有停过。
因此甲午之战，只能说标志着日本怕我发展甚于它而伺机袭击。就像怀揣嫉妒心的孩子眼见旁边另一位即将把积木搭成城堡而一手扫过，积木无损，可继而续之，搭建无碍。

光绪二十二年（1896年）春，俄皇尼古拉二世举行加冕典礼，李鸿章奉命作为头等专使前往祝贺。在此之前，俄国会同法、德发起三国还辽成功，清廷上下视俄国为救星，包括李鸿章、翁同龢、张之洞在内的元老重臣均倾向联俄。清政府的外交政策也由“以夷制夷”转向“结强援”。同年四月二十二日，李鸿章在莫斯科签订了《中俄密约》，中俄结盟共同对付日本，并同意俄国修筑西伯利亚铁路经过中国的黑龙江、吉林直达海参崴。

李鸿章出任粤督期间，北方爆发了义和团运动，英、法等国组成八国联军进行干涉，慈禧携光绪逃至西安，北方局势一片混乱。而东南地区的实力派疆臣如两江总督刘坤一、湖广总督张之洞等，则在盛宣怀联络下，倡导东南互保，即不卷入清廷这次对外宣战，以保东南半壁不陷入混乱中。李鸿章对此表示支持。

在此期间，经由革命党人陈少白和李鸿章的幕僚刘学询牵线，李鸿章一度有意与自日本前来策划“两广独立”的孙中山晤面，但由于双方互存戒心而作罢。