对此岳飞非常不高兴，他心灰意冷地离开了建康，溯江西上。岳飞虽然非常不满，却不敢直接对皇帝发泄自己的情绪，于是以“将相议事不合，乞罢兵守余服”为名，向皇帝上奏辞职。
赵构的批示还没下来，岳飞就回到了江州庐山东林寺附近的居第。赵构接到岳飞的奏折后，立即下旨要他复出治事。
赵构虽然表面上不动声色，但实际上却非常不满，在他看来，岳飞的举动就是大不敬。宋高宗听取张浚的建议，派张宗元前往鄂州，担任岳家军的宣抚判官。
虽然岳飞将岳家军的军务委托给了张宪，但此时张宪也因病离职，朝廷又派张宗元前来，结果引发岳家军内部的混乱，导致军心慌慌。
此时岳飞也已经接到赵构的旨意，但他仍然没有返回军营的意思，再度向宋高宗提出要在庐山为母亲守孝。赵构接到奏折后，再度向岳飞下旨，表示军情紧急，希望岳飞不要推辞，速速返回军营，不要再有所陈请。岳飞接旨后，仍然没有复出的意思。
赵构没有办法，只好下发了第三道旨意。南宋朝廷料到岳飞可能还会不遵旨意，让三省、枢密院向岳飞手下的参议官李若虚、统制王贵下了一道命令，让他们去庐山敦请岳飞，假如违抗命令，以军法从事。
李若虚见到岳飞后，岳飞依然没有复出的意思。李若虚说道：“是欲反耶，此非美事。若坚执不从朝廷，岂不疑宣抚。且宣抚乃河北一农夫耳，受天子之委任，付以兵柄，宣抚谓可与朝廷相抗乎！”
在这种情况下，岳飞才返回军中，同时以待罪之身向朝廷上书。虽然赵构没有怪罪岳飞，但这是因为当时的战况紧急。
不过，赵构在给岳飞的一道御札中，警告岳飞，“犯吾法者，惟有剑耳”。在赵构看来，岳飞非常跋扈，居然敢三次违背自己的旨意，到底谁才是老大？
总之，岳飞谜一样的操作整的赵构寝食难安，但赵构又不敢拿岳飞怎么样，毕竟这万里江山还需要岳飞的守护。
李寺当然知道赵构和岳飞之间的恩怨情仇，他指着天上的月亮道：“你看，月有阴晴圆缺，人有优点缺点，你对岳飞是不是有些偏见？”
“我是问你和岳飞说了什么，谁问你岳飞有什么缺点了。”
“你要是对岳飞没有偏见，怎么会在意我和岳飞说什么？”
李寺知道赵构心里的想法，赵构是怕李寺撺掇岳飞谋反，李寺已经说中几次军情，要是和岳飞联手，这边关局势可就紧张了。
“哼，我只是好奇，你是怎么搭上岳飞的，难道你对军国大事也开始感兴趣了？”
“国家兴亡匹夫有责，我当然要对军国大事感兴趣，没有和平，生意做的再大又如何！”
李寺说的是真理，赚再多的钱，国家要是不太平，有命赚没命花。
“我见你和岳飞相谈甚欢，你们到底谈了什么？”
赵构还是想知道，以岳飞的性格，很少有人能和他喝的那么尽兴，谈的那么愉快，李寺到底给他灌了什么迷魂汤。
李寺指着不远处的石凳说：“我们坐下来说吧。”
虽然外面有些凉，但是坐着总比站着舒服，再说那几条石凳和石桌在小竹林里面，竹林再稀疏，多多少少也能挡些风。
“我认岳飞做了大哥。”李寺坐下来说道。
“什么？”赵构有些吃惊，因为岳飞最不喜欢拉帮结派，而且李寺不过是个商人，岳飞堂堂军神怎么会看上他？
“你这什么表情，怎么，我不配当他的小弟吗？”李寺敬重岳飞，但是在穿越人的面前，就算是军神，也没有必胜的把握。
“我是奇怪，你不是无所不能吗，怎么会甘愿当别人小弟，你有时候连朕都不放在眼里。”
“老赵啊，你就别在我面前装模作样了，是谁连下三道圣旨催岳飞出山的？”李寺揶揄道。
“你！”赵构没了脾气，论打仗，他确实不如岳飞。
“所以啊，人各所专，打仗岳飞是高手，赚钱我比你俩厉害，当皇帝你是这个！”李寺冲赵构竖起了大拇指。