因为这些话，他也被诸葛亮免去官职，在家赋闲，由于同僚张裔求情，诸葛亮这才复起杜琼为谏议大夫，并让他谨小慎微，不要乱说话。
可他在诸葛亮离开后，又在朝中民间大肆宣扬魏国日后必得天下的言论，刘禅便趁此机会又将其免职在家，让他闭门思过，不得出门。
但为何他突然到访李严府邸，实际上他是走了便利途径，趁着夜间的时候溜出府邸来到中都护府，就是为了告诉李严，有了军权别忘了他们。
“杜大夫，君不是被陛下软禁在家不得出户吗？怎么？用了些手段来到我的府邸，是想干什么？”
李严其实很反感这个杜琼，也倒不是十分厌烦，实际上是他的言论让人感到有些厌倦，整日都在搞那些谶纬之学，然后到处宣扬自己的言论，听得他们的耳朵都出茧子了。
站在李严面前的杜琼却是满脸堆笑，但口气却是有些阴阳怪气地说道：“呵呵呵……李将军如今领兵征战，何其风光，还望将军莫要忘了汝该做的事情。”
“放心放心，我不会忘了尔等的。”李严满脸厌烦，他对于这群人的逼迫简直欲哭无泪，自己虽然搞文臣的那一套也很拿手，但架不住一群人的轮番炮轰啊。
而且这个阴阳怪气的杜琼每次都在他背后下绊子，让他自己都没办法正常的实施他想实施的计划。
“军权在手，日后想要与那群荆州人抗衡，也就方便许多。”杜琼的表情变得阴冷，声音略微嘶哑，“这么多年以来，荆州人压迫我等益州人久矣，难道李将军不知吗？”
“哼，还用得着尔说！”李严顿时瞪大了双眼拍案而起，“这么多年，乃公处处受制于人，结果却是一个小小的中都护，禁军不过三千余人，如何能上得战场！”
“要不是尔等整天都在丞相面前搞那么一套，我李严这个时候早就能进入军权中央了！还用得着尔等这群腐儒们说？！”
这下，李严算是彻底被他惹火，他愤怒地指着眼前的杜琼，心里此刻连杀他的心都有了。
“哼哼……莫要跟我急。”杜琼却是有恃无恐，面对眼前李严的怒火，他根本就不怕，“别忘了尔的地位是如何来的？”
的确如此，李严是益州那群本地人拥立上来的，如果没有他们的拥戴，李严的地位不可能水涨船高，也不可能坐到禁军将领的位置，更不可能是先帝的托孤重臣。
所以，杜琼这样威逼李严，是很合情合理的，而且他们还把控有李严在背后做事的把柄，如果他敢出卖了这群益州人，他们就敢和李严展开正面冲突。
“………哼！”李严无可奈何的冷哼一声转过身去，然后对身后的杜琼冷冷道，“此事我会注意的！杜大夫请离开吧，免得夜长梦多！”
“好……希望李将军能不负众望。”杜琼表情依旧如此，然后转身离开了这里，但迈出门槛前幽幽地说了一句话，“李严，若是败了，尔将死无葬身之地。”
说罢，杜琼便笑着离开此地，只留下怒火中烧而不敢作的李严。
“汝等岂敢！呼呼呼呼……”