“不，不是的！”井上馨仿佛一只被触动了痛处的猛兽，大声道：“我这是为了天皇，为了这个国家，除此之外就再无别的选择了。帝国能够赢得最后的胜利的，朝鲜、台湾、满洲都会成为帝国的一部分的！一定会的——”井上馨的声音越来越大，到了最后已经和嘶吼没有什么区别。
伊藤博文冷冷的看着地上的井上馨，随手捡起地上的外衣，套了上去，微微向其鞠了一躬，低声道：“多谢款待，告辞了！”便自顾向门外走去。
黑岛仁站起身来正想相送，突然发现地上的井上馨已经双目失神，犹自大声嘶吼，根本没有发现伊藤博文已经走了，他只得向伊藤博文微微鞠了一躬，俯身照料其井上馨了。过了约莫半盏茶功夫，井上馨方才恢复了神智，斜倚在黑岛仁的手臂里，口中犹自说：“我是对的，一定是对的！”
数日后，身为内阁总理大臣兼宫内相的伊藤博文向天皇陛下上书，以与欧美列强修约谈判不利为由罢去了井上馨外交大臣的职务，以陆奥宗光代替。伊藤博文突兀的行动让朝野上下为之哗然，但作为当事人的井上馨却泰然的接受了这一变故，仿佛这不过是一件寻常事。
“啊呀呀！果然不愧是‘长州五杰’之一，与伊藤阁下同时代的豪杰呀，面对这样的变故还这么镇定，这可不是一般人能有的器量呀！”
“是呀，井上阁下听到这个就好像是‘吃了吗？’‘您的鞋子松了’这样的小事一样，这才是真正的武士风仪呀！”
“你们懂得什么？井上阁下就算是下野了，在政治界和经济界还是有着深厚的人脉。只要他一声令下，三井和日本航运的金库都会为他敞开，我敢打赌，很快他又会东山再起的！”
“那可不能就这样看轻了井上阁下呀！”
“可是能够把这样的井上阁下给一下子罢免了，总理大臣阁下果然是一等一的铁腕人物呀！”
这样的议论在东京政界和商界的小圈子到处都可以听得到，所以井上馨虽然下野了，但是他的家门却并没有随之冷落，那些坐着马车或者轿子的人们络绎不绝的前来求见，但是井上馨却一律闭门不见，理由是由于办事不利，受到天皇陛下的斥责，作为臣子正在闭门思过，希望诸位谅解。
但是井上宅内，却全然不是井上馨所说的那种气氛，在那天晚上宴请伊藤博文的庭院里，跪坐了六七名服色各异的男子，如果让外面的人看到这些客人，一定会更加惊叹井上馨在政经两界的深厚人脉，因为这些人分别都是三井银行、日本航运、藤田组、三井物产等政商的巨擘，分别控制着日本金融、航运等核心行业。
“阁下，总理大臣怎么能够就这样罢免您呢？这也太过分了！”
“是呀，即使是伊藤阁下，也不能这样罢免一个元老呀！”
人们发出激烈的声音，而作为当事人的井上馨却并没有表态，他只是静静的喝着酒，这让那些和他有着密切联系的政商们的声音渐渐小了下来。
“阁下，请问您有什么打算呢？”一个三十出头的青年人开口问道，他在一群五十以上的老年人中显得格外显眼。
“中上川君，伊藤阁下是总理大臣，也就是代表着天皇，作为一个臣子，对待天皇的诏命，只有俯首听命呀！”井上馨放下手中的酒杯，沉声答道：“至于诏命于己有利与否，那就并不重要了。难道你没有听说过‘雷霆雨露，皆是君恩’吗？”
“受教了！”那个年轻人赶忙低下了头，原来此人名叫中上川彦次郎，乃是福泽渝吉的侄儿，还曾经担任过井上馨的私人秘书，十分得到井上馨的喜爱和信任，1880年中上川彦次郎被免职后，进入商界发展，在他叔叔和井上馨的支持下，已经成为三井银行、三井物产、三井矿山的理事，又是三井吴服店的调查委员，大元方（三井财阀内部管理逐项事务的机构，类似于董事会）的参事，虽然年不过三十，已经成为日本商界第一流的人物了。也正是因为他的地位和与井上馨亲密关系，刚才才会第一个发言。
“列位今天来，我十分感谢，不过离开政界休息一下，其实对我来说也是一件好事情！”井上馨笑了笑：“不过在离职之前，我还是为列位办到了一件事情，中上川君？”
“哈伊！”
“上次你们向我提起的引进最新式纺织机的补贴问题，我已经向伊藤阁下提过了，本来他是不同意的，不过你们现在再去问一次，应该是没有问题了！”井上馨笑着说：“如果还是不行，你们可以去英国商会一下，相信对方是愿意在价格方面做一定的让步的！”