“你这巧言令色的本事，好过带兵太多了。朕来问你，是朕对你不够好吗？你就跟朕虚与委蛇，骄惰不战，沉酣酒色，不恤国事，恣横扰民，劫掠财物，你敢说这折子上参你的每一件事都是假的？”赵楷反击道。
“这，这—”，刘光世一时语塞。
“你既无领兵之能，就不要再带兵了，交出兵权，去做个富家翁吧。”当年太祖皇帝杯酒释兵权，赵楷也可以。
“那怎么行！臣的大军离不开臣，一天都不能！”刘光世想都不想，就大声顶嘴。
“是吗？你是说，你跟你的大军，就像你跟你的脑袋一样不能斩断，是吗？”
这话吓得刘光世浑身一哆嗦，手里冒冷汗。他可以说很大胆的话，可其实他是一个很胆小的人，他惧怕金军，不敢与之一战，又死死握着军权不放，究其原因，因为在这乱世，他的军队就是他的胆。为了保住军权，刘光世脑子自从生出来，从来没有像今天转的这么快，他想起朝廷历来的主战主和之争，急中生智地喊道，“官家，过去臣不愿意与金贼作战，那是臣主和啊，臣主和啊，臣一直以为官家也是主和的啊，如若官家如今变了想法，要战，那臣自是不敢再主和，臣一定惟官家马首是瞻，臣也主战，臣主战啊！”
“你主和？”赵楷一愣之余，哈哈哈大笑。
刘光世也跟着讨好地笑。
“朕小的时候，道君常常训戒朕，这世间有好人，平常人，犯了错的平常人，犯了错有一天幡然醒悟的坏人，死不悔改的坏人，这五种人。他要朕一定小心提防第五种人，必要时一定予以铲除。朕今日想看看你刘光世到底是哪一种人，是不是第二个范琼。”
一提到范琼，刘光世浑身一激灵，“臣错了，臣错了。”刘光世脑袋咣咣捶地。
“夜半三更，朕常常想起靖康年间的东京城，那是怎样的人间地狱啊，无数人惨死，其中就有你的父亲刘延庆将军，你的大哥刘光国！你的夫人子女被掳掠到北国做牛做马，受尽地狱之苦，你这为人夫为人父的，就没有一点痛心？就没有流一滴泪？你把他们都给忘了，是吗？你就这么心安理得的只为你自己活着？面对国恨家仇，你主和？哈哈哈…”赵楷讥讽地笑起来。
刘光世啼哭起来，不知道是为了父兄，儿女，还是他自己，还是演戏给皇帝看。
三月二十二日，少保，三镇节度使，淮南西路兼太平州宣抚使刘光世以患风痹之疾自请罢除兵权，赵楷恩准。
下一步，就是通知岳飞接收淮西军，可所有的文官突然改变了主意，他们集体反对官家如何偏爱岳飞，他们的意见是岳家军已经有十万之众，为江南各军之冠，如果淮西军再划归其麾下，一旦岳飞心有异志，拥兵自重，那江南就无人能节制他了。
过度的信任是灾难的开始。
文臣们的坚决反对让赵楷想起靖康元年自己在镇江对李纲也是何等的信任，结果却是让他耿耿于怀了这十几年。
徘徊复徘徊，彷徨复彷徨。
他最终没有急于将淮西军交由岳飞接管，而是听从了文官的意见，准备暂时从淮西军内部提拔一名将领来代替刘光世。
还在赶回鄂州军营途中的岳飞得到消息后大怒，他一边上书朝廷乞请解除兵权，一边不待朝廷回复，就决定不再回鄂州军营，直接掉头上庐山为一年前去世的母亲守孝。鄂州大军听闻岳帅如此，为之哗然。
朝廷急派大员代替岳飞去鄂州统军，军中多有杂音。
赵楷令岳飞手下参议官李若虚和将领王贵前往庐山请岳飞下山。岳飞不理睬他们。
在赵楷圣旨严厉斥责下，三个月后，岳飞才回到军中，并上表请罪。
赵楷给岳飞的诏令只有八个字，“犯吾法者，惟有剑耳。”
淮西军这边，因为派系林立，朝廷一时还没有决定继任的将领人选，其内部多有议论，最后的人选聚焦在王德和丽琼二人身上，二人互不买账，各有攻击，朝廷决定暂时派宰相的心腹时任兵部尚书吕祉前往抚军，并分而治之，将王德一军调离淮西，前往建康听候朝廷调遣，丽琼部仍驻扎淮西。
吕祉到达淮西后，丽琼率领手下诸将在吕祉面前继续攻击王德，说淮西军的指挥大权无论如何不能交给王德。
吕祉好言安抚他们，众将散去，吕祉随即以密信上奏朝廷此事，以为丽琼极其手下不可信任，应尽数罢官才是。
谁料丽琼早就暗中将朝廷派入淮西军中的人悉数监视，密信被截货，知晓吕祉要对自己动手的丽琼大怒，当即闯入吕祉大帐，当堂质问之下，令手下捆绑了他，举兵造反，并行驱赶十万百姓，投奔伪齐刘豫。
而当时的朝堂之上不知道淮西已经出了大乱子的文官们还在争吵，枢密院正副使与宰相的意见相驳，他们攻击宰相派心腹前往淮西，认为合适的人选应该出自枢密院，
“张浚一个人独掌相权，居然还不满足，还要直接指挥淮西军的六万兵马，岳飞兵权过大有危险，可宰相文武大权在手，就不可怕吗？现在江南所有的大权不正掌控在宰相一个人的手里吗？所谓独夫，还有谁比张浚更适合这个称号呢。”
他们认为认为做好的处置法子的提拔淮西军宿将王德，据他们枢密院了解，淮西军上下除了刘光世，最服的就是王德。
宰相张浚的意思是，罢官刘光世，排除岳飞，如果最后军权还是交到另外一个将领手上，那绕了这么一个大圈子，朝廷做的事跟什么都没做，有什么区别？
如果官家不同意他直接指挥淮西军，他建议将淮西军分成六部，分而治之，更为稳妥。
双方激烈争吵，宰相一口咬定淮西军万万不能交给王德一人掌管。
结果枢密院副使一时情绪过于高昂，竟当场死在朝堂上。
赵楷最终决定采用折中之计，让大将张俊暂去接管淮西军，可惜为时已晚，淮西军变的消息传到临安，六万将士中的四万被丽琼带走，如此淮河防线的西部洞开，江南震动！