岳家军纪律严明，训练有素，“冻死不拆屋，饿死不掳掠”，因此深受百姓爱戴，岳飞也因此在百姓心中有了崇高地位。
金人有“撼山易，撼岳家军难”之语。岳家军部队久驻鄂州（治今湖北武昌），世居汉地，南宋末年抗击金蒙的将士，很多就是岳家军子孙。
南宋初年社会动荡，政局扰攘，溃兵盗匪遍野。朝廷无力控制各支军事武装，兵将骄悍难制，“诸军动则溃，溃则盗，盗则招，招则官，反复循环，无有穷已”。
各武装集团溃散、火并之事常有发生，分合无定势。岳飞素以治军纪律严明著称，他的军队一直比较稳定，许多溃散武装集团纷纷投靠岳家军，成为岳家军中的招降将领，使其队伍不断壮大。
岳家军兵强将强，成为朝廷的一支王牌劲旅，只要边防军情紧急或内地寇盗充斥，必调岳家军应付战事，并拨隶一部分当地军队归岳飞指挥。
赵构甚至有时心血来潮，诏岳飞“中兴之事，朕一以委卿，除张俊、韩世忠不受节制外，其余并受卿节制。”
有些将领战事结束仍回归本司，但有相当部分兵将则因之编隶岳家军中，成为岳家军中的拨隶将领，从而也壮大了岳家军。
1135年（绍兴五年），岳家军的规模从三万多人的规模增加到十万人左右的规模。这是因为杨幺军的壮丁五、六万人大都编入岳家军，再加上江南西路安抚司统制祁超、统领高道等部（约八千五百多人），和此后增拨的统领丘赟所部（近一千五百人）；荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部（约一万多人）；以及张浚都督府左军统制杜湛改任岳飞统辖的黄州武将知州带来的几千蔡州兵。
岳家军至少有十二统制“军”分别是背嵬军；前军；右军；中军；左军；后军；游奕军；踏白军；选锋军；胜捷军；破敌军；水军。
其中背嵬军是绝对主力，名字学自韩世忠的同名统制军；游奕是巡回的意思；踏白是武装侦察的意思；其它军名都是增长士气的军号。
据绍兴九年（1139年）统计，这十二军共有22名统制、5名统领和252名将官分别率领，其中有正将、副将和准备将各84名。
王贵任中军统制，张宪任前军统制，这二人是岳飞的副手，岳飞不在时可代替岳飞指挥其他统制，主持岳家军全军的事务；徐庆、牛皋和董先三人最为善战，此五人是岳家军的中坚人物。
背嵬军是岳家军主力中的主力。在南宋初年的各路驻屯大军中，唯有岳家军和韩家军有背嵬军的编制。“
背嵬军”这个名称最先被韩家军使用。韩世忠在绍兴二年（1132）设立背嵬军作为自己的亲军。岳家军背嵬军的编制是仿照韩家军编制而来。
“背嵬”一词是党项西夏语的音译，也有的史籍上写成“背峞”。“峞”有酒瓶之意，大将的酒瓶必然是由亲信士卒背负，因此，背嵬军便引申为大将的亲军之意。
背嵬士卒的选拔是极其严格的：军中进行军士技能比武的时候，将胜出的士卒登记在册。一旦旗头和押队一类的低级军官阵亡，则迅速以这些优秀士兵补充进去。
这些被登记了的勇卒之间也会经过多次选拔并决出优胜者来，一旦各级将官有伤亡需要补缺，则再从这些优胜者中进行选拔。这些人都有可能进入背嵬军。
但凡进入背嵬军编制的士卒便享受到与岳家军各级统制相同的尊重，犒赏也异常丰厚。
因此，这支背嵬军颇具有战斗力，每每战事胶着之时，岳家军必定投入背嵬军打开局面，每仗必胜。所以在战事最激烈的时候，背嵬军往往被用作为突击队或敢死队使用。
背嵬军战斗力强悍的另一个重要原因在于背嵬军中编有8000人的一支精锐骑兵部队。南宋初年战马紧张，南宋各支驻屯大军并不能组建有效的骑兵部队与北方敌人做野战拼杀。
岳飞大军在剿灭曹成时得到过广西经略安抚司战马的支持，但是战马紧缺仍旧是阻扰岳飞组建骑兵集团的最主要问题。
岳飞利用与金齐联军交战的机会，获得大量战马并组建了南宋历史上第一支真正意义上马军。岳飞也成为南宋历史上第一个能够大规模以骑兵发起集团野战的将领。背嵬军八千骑兵的意义便在于此。
当然，八千骑兵之外，背嵬军还有步兵。因此，步兵骑兵相加，背嵬军大约有兵员一万五六千，甚至更多。