最后命吴挺于瓦亭破敌，这期间吴璘趁机收复一些西北州县。采石大战后，英雄虞允文与张浚谋划北伐，虞允文回四川联络吴璘，成为隆兴北伐西路军的一支配合兵力，出兵收巩州、秦州。同时派吴拱进入襄阳支援李显忠，可隆兴北伐的主战场在中路，最终李显忠受自己人掣肘失利。宋孝宗雄心壮志严重受挫，此后一直没多少作为。
在隆兴和议后，吴璘又被迫放弃收复的州府退回兴元府。对于吴璘坐镇巴蜀，好比胡铨这样非常正直的大臣，对武将稍微拥兵多一些就看不惯。实际胡铨在隆兴北伐中，楚州、高邮等地失守，胡铨也亲自从浙西领兵支援，在射阳湖指挥据敌，可对于文武之间的隔膜太过偏见。所以，吴璘一度心寒，打算辞职了事。所以，像北伐这等大事，吴璘无法谋划，动辄招人话柄。
到吴拱、吴挺也只能安于本职，而南宋的首要任务就是保障偏安。吴拱、吴挺一辈作为堂兄弟的关系已经不如吴玠、吴璘亲兄弟那么团结。吴家军的内部虽然说不上有多大矛盾，但互相之间却有竞争存在，也影响到吴家军整体。
如绍兴二十九年（1159），吴璘荣升少保的时候，吴拱跟着升枢密副都承旨，潭州观察使（潭州为今湖南长沙），任其弟吴撝为利州路安抚司参议官。但吴拱对离开巴蜀不大情愿，上书申诉。没多久，高宗同意吴拱留在利州路，还封妻子许氏为信安郡夫人。虽然这是一段小插曲，已经透露随着吴拱的成长，有被试图挪出巴蜀，分化吴玠子侄力量的信号。
虽然吴璘活着时，对兄长儿子，尤其吴拱是器重的，但不光吴璘的儿子们与之有竞争，朝廷一方出任巴蜀的其他官员，都对吴家子弟忧心忡忡。这些大臣对吴拱等吴玠儿子的排挤更加强烈，这一点也客观造成吴拱与吴挺两班从兄弟之间的不和谐，促使他们之间的竞争比团结更加明显，自然会影响双方的关系。
吴璘刚死不久，前往四川任宣抚使的汪应辰就建议由吴拱接替吴璘，就是考虑吴拱是吴玠长子，且功勋和威望也有，同时改变吴家军的掌舵人，削弱吴璘一家地位。但孝宗赵昚当时和朝廷大员却试图彻底去掉吴家军掌舵人，就连汪应辰也不放心，这就有孝宗让老臣虞允文挂知枢密院事再回四川坐镇一幕。虞允文没多久病故，但在有限的整顿巴蜀军务期内，实际认同汪应辰的做法，提升吴拱一家，而且收编训练了兴洋义军、房州保圣军等民间士卒，帮助吴拱更换了一批吴家军将士。
作为吴璘最喜欢的吴挺则被推到前沿金州，兼达房开三州安抚使，相对被边缘化，自然兄弟间的隔膜在慢慢加剧。尤其吴璘死后，本来吴挺等儿子需要守丧，的确给地方官员调整巴蜀军事部署很好的契机。包括王炎在虞允文之后同样对吴挺等人继续冷落，更派出王承祖任金达房开副都统，相当于暂时接管了吴挺的军务。更微妙的是在孝宗乾道六年（1170），吴挺守孝期满，居然是让吴挺返回朝廷任左卫上将军，武昌军承宣使，明显不希望吴挺留在巴蜀。
