完颜宗弼占领杭州后，派斜卯阿里、乌延蒲卢浑率金军四千追击，当年除夕追至明州城下，金军自高桥镇攻西门，张俊部将刘宝，以及杨沂中（即杨存中）、田师中所部等抗击金军，知州刘洪道亦率州兵助战，金军战败，死伤以千计。
建炎四年（1130年）正月初二，金军又攻明州，张俊与知州“刘洪道坐城楼上，遣兵掩击，杀伤大当，敌奔北坠田间或坠水，俊急令收兵，夜，敌拔寨去，屯余姚”。
四月，张俊改任浙西、江东制置使，以招收江浙地区的“群盗”，除刘光世、韩世忠两军外，其他诸将皆受张俊节度，成为当时最主要的将领。六月，高宗改御前军为神武军，张俊改任神武右军都统制，领定江、昭庆二镇节度使。
绍兴元年（1131年）后，张俊讨伐马进、李成有功，进太尉。以后历任浙西江东宣抚使、淮西宣抚使。
绍兴四年（1134年）十月，金人又至，举朝震恐，张俊力主抗击：“避将可之，惟问前进一步，遮可脱。”
绍兴五年（1135年），伪齐刘麟入侵，张俊与杨沂中在泗州合力拒敌。十二月，改神武军等为行营护军，张俊所部改称行营中护军。张俊与韩世忠所部为南宋两支最重要的军队，被高宗比喻为左右手。
绍兴六年（1136年）十月，伪齐发兵三十万大举侵宋，受张俊节制的杨沂中军与伪齐主力刘猊军激战于藕塘（今安徽定远东南），伪齐军战败。张俊所部张宗颜等生力军赶至，两军遂共奋击，伪齐军大败，张俊又率主力到达，追击伪齐军，与杨沂中军一直追击至寿春（今安徽寿县），这就是列入“中兴十三处战功”的“藕塘之战”。
此役后，张俊以功进领镇洮、崇信、奉宁军三镇节度使。此后数年，张俊与韩世忠分守江防，使金人不敢窥江而渡，为南宋争得了休养生息的宝贵时间。
绍兴七年（1137年），宋朝廷解散刘光世部，左护军副都统制郦琼率四万人叛降伪齐。次年，原刘光世部主力、左护军都统制王德所部两万人，归属于淮西宣抚使张俊。
绍兴八年（1138年），宋、金首次议和，金将原伪齐辖区划归南宋，南宋成为金属国，张俊加少傅及安民靖难功臣号。
张俊此人，从一个小小弓箭手，升官至少傅，从一品大员，全无背景，可以说是智勇双全，不过人无完人，张俊最大的劣迹就是爱财。
张俊极得赵构恩宠，靠贪婪和他占据的巨大财富而闻名于世。大肆兼并土地，占有了巨额田产，成为古往今来罕见的大地主，号称“占田遍天下，而家积巨万”。
张俊家共有良田一百多万亩，每年收租米一百万石以上，相当于南宋最富庶的绍兴府全年财政收入的两倍以上。
通过巧取豪夺，张俊还占有了大批园苑、宅第，仅所收房租一项，每年就多达七万三千贯钱，也就是仅房租一项，就年收入七亿三千万文钱。
张俊的子孙曾经一次捐献给南宋朝廷十万石租米，清单上分别开列了江东和两浙路六个州府所属十个县，共计十五个庄的租米数额。
张俊在世时，家里的银子堆积如山，为了防止被偷，张俊命人将那些银子铸成一千两（相当于后世四十公斤）一个的大银球，名叫“没奈何”，意思是小偷搬不走它们，全都拿它们没办法。
李寺来宋朝之前，张俊正好在外地统兵，而赵构掀起的财产申报令风波，只对京官进行了清算，张俊正好躲过一劫。
不过这股风潮却是早就吹到了张俊的耳朵里，当他知道秦桧都没能幸免于难，他就知道赵构是动了真格的。