在军事上，整军兴武，宋孝宗在五年间，举行了三次大规模的阅兵，还积极选拔将领，自己也学习骑射。南宋的军队战力有很大的提高。

主张抗金的大臣张浚已于和议前去世，宋孝宗转而依靠指挥采石之战的虞允文。虞允文于乾道五年（1169）升任右相兼枢密使，乾道八年升任左丞相（新官制）。宋孝宗决定采取分别从江淮、四川东西两路攻金的策略，因而任命虞允文为四川宣抚使。此前一年，宋孝宗还将三衙之一的侍卫马军司移屯建康，以建康作为宋军东路的前进基地。但是，虞允文到四川后，却迟迟不能确定出兵的日期，而且不久即于淳熙元年（1174）病死，使得宋孝宗与虞允文相约东西两路攻金的战略落空。此后，宋孝宗虽然也整军练武，积极作好攻金的准备，又几次以接受金朝国书仪式不平等而发难，企图以之激化矛盾，引发军事对抗，但他既受制于太上皇高宗，又得不到大臣们的支持，每次都以太上皇有旨而姑听仍旧。“寿皇圣帝（孝宗）之志，未尝一日而忘中原也，是以二十八年之间，练军实、除戎器、选将帅、厉士卒，所以为武备者，无所不讲” 。金世宗也“每戒群臣，积钱谷，谨武备，必曰：‘吾恐宋人之和，终不可恃’，盖亦忌帝（宋孝宗）之将有为也”。但始终制约宋孝宗的太上皇宋高宗，直到淳熙十四年（1187），才以81 岁的高龄去世，宋孝宗已是年过60的花甲老人。

南宋的政局需要不断的扩充军事力量，在内地和边防增招兵员，但是鉴于当时养兵费用浩繁，宋孝宗大胆改革军事制度，在全国范围内推行义兵制。“籍民家三丁取一，以为义兵，授之弓弩，教以战阵，农隙之时，聚而教之。”义兵制的实质在于寓兵于农。义兵既不脱离生产，又不荒废教阅，既壮大了军事力量，又减轻了国家的财政负担。当时四川地区***有义兵5.3 万人，与等额官军相比，每年节省财政开支六七百万。采取义兵制也是迫于当时国家的需要，一方面军事力量不足难以抵御外侵，一方面国内经济尚需发展，民不富裕，财政压力大，因而只能采取此种能稍稍两全之策。像选拔文官一样，宋孝宗非常重视军事人才的选拔，要求各地荐举将领不受等级和数量的限制，经武举考试合格者，还必须到军中涪熟军政7年，枢密院设置诸军大小将领的花名册，以备随时抽验考核。