“陛下已登大宝，社稷有主，已足伐敌之谋。而勤王之师日集，彼方谓吾素弱，宜乘其怠击之。黄潜善、汪伯彦辈不能承圣意恢复，奉车驾日益南，恐不足系中原之望。臣愿陛下乘敌穴未固，亲率六军北渡，则将士作气，中原可复。”
赵构一看大怒，你个小兵卒子，说话不经大脑，家国大事是你能议论的吗？于是剥夺了岳飞的兵权。
岳飞这次被一撸到底，连去背行军锅的资格都没有，被革除军职、军籍。
八月，岳飞渡河北上，奔赴抗金前线，此时，“声满河朔”的河北西路招抚使张所正在大名府多方收揽英才抗金。张所知悉岳飞的遭遇后，便留他“帐前使唤”。这是岳飞第四次投军。
岳飞见识非凡、武艺高超，张所破格提拔他。“以白身借补修武郎”（第四十阶），任河北招抚使司中军统领，后又升为统制，隶属于名将王彦部下。这时候岳飞的官阶大致是准将，职务（差遣）是旅长。
张所因主张抗金，早前曾弹劾黄潜善而遭贬谪发配岭南，最终死于贬途。被张所派遣去收复卫州（河南卫辉）等地的王彦、岳飞一部，随着张所被贬及河北西路招抚司的撤销而成为孤军。
金兵势大，王彦趋于保守，岳飞擅自率部发起进攻，击败金军攻占新乡县。金军误以为王彦、岳飞部是宋军主力（实只七千余人），调集各路金军围攻，岳飞率部死战突围而出。
王彦因此与岳飞不和，不再同意与岳飞合兵一处，岳飞遂独自率部战斗。所以，岳飞从小就有些不听上级号令，在军中树敌颇多。
此时宗泽任东京留守司留守，岳飞率部来投，再次归入宗泽帐下，任东京留守司统制。
建炎二年（1128年），岳飞此时二十六岁，七月初一，连续二十四次上书北伐而未获赵构支持的老将宗泽出师未捷身先死，杜充继任留守，宗泽策划的北伐夭折。
七月十五日，岳飞按照宗泽生前部署率部进驻河南府（洛阳）。
八月，金军大举进攻，妄图攻取陕西。岳飞所部首当其冲，与金军大战于虎牢关，击退金军，升武功郎。
此后多次转战，到建炎三年时他因军功先后补武经大夫、武略大夫借英州刺史、武德大夫英州刺史（三十五阶升至第十九阶）。
宋朝的刺史是从五品的武臣寄禄官（代表官员身份地位的虚衔），无职掌，无定员，级别大致是副厅级+。武官官阶方面，大致是中将，虽然职官只是旅长，但是军衔很高。
建炎三年（1129），金军在岳飞这儿碰到硬钉子，于是转变攻击方向。
一月，徐州、淮阳、泗州陷落，二月，天长军（安徽天长）被攻陷。赵构慌忙逃至杭州，五月移驾建康（南京），不久又转回杭州。六月，杜充以勤王为名放弃开封，岳飞苦谏无果，只得随军南撤。
秋，金军多路南侵，其中完颜兀术（金兀术）领军直接进攻江南，妄图一举灭亡南宋。十一月，金军渡江后，杜充派都统制陈淬率岳飞、戚方等将官统兵二万奔赴马家渡，又派王燮的一万三千人策应。
二十日，陈淬率军力战，岳飞独率右军与金军对阵，然而王燮却不战而逃，陈淬战死，诸将皆溃，岳飞苦战无援，二十二日整军退往建康东北的钟山。二十三日，杜充放弃建康逃跑，继而降金。
金兀术渡江后冲向杭州，各路宋军纷纷溃败，赵构坐海船逃至海上躲避，据说因此受惊吓造成了不举。当然赵构不会对李寺说起。
马家渡之战后岳飞决定脱离杜充，独自领军在金军后方发起进攻，多次给予金军重击，收复多处失地。
建炎四年（1130）二月，金军北撤，受到岳家军截击，损失惨重。五月，岳家军收复建康，俘获万户、千户以下千余名金兵，这是岳家军首次辉煌胜利。
四月任御营使司统制（隶属张俊），收复建康（南京）后，岳飞押送俘虏面圣，这是君臣俩第一次相见，补武功大夫（第十五阶）、昌州防御使，通、泰州（南通、泰州）镇抚使兼泰州知州。