吴璘接替吴玠，被拜为秦凤路（今陕西凤翔）经略安抚使、马步军都总管、知秦州。由于金朝册封的刘豫被废，有归还河南、陕甘一些地方结好南宋的意思，加上之前收复的州县，南宋派使者楼炤与吴璘商议如何确保驻防。楼炤建议调出蜀中兵力加强陕甘的防御，吴璘反对，认为这将导致巴蜀空虚，假如金军发觉宋军调动出蜀，容易绕过陕甘，先袭击巴蜀，蜀道艰险，大军进出不便，届时将追悔莫及。吴璘说服楼炤，仍重点防备蜀中，只用一支兵力屏障在延州，确保陕甘地区。
到绍兴和议达成，吴璘一直镇守兴元、兴州一带，包括陕甘仅剩的阶、成、凤等地，作为利州路的前沿阵地。十年后，吴璘也授开府仪同三司的权限，同时保留御前诸军都统制、知兴州、安抚使等实职，实实在在成为坐镇一方的大员，几乎是两宋时期武将的特例。
在高宗赵构的末期和孝宗赵昚继位后，吴璘的赫赫声威不可能不受诸多文臣的猜疑，包括派去四川上任的制置使沈介、朝廷兵部侍郎胡铨等都针对吴璘。孝宗乾道元年（1165），吴璘去临安面君，在路上就呈交辞职书，孝宗当然不准，见到吴璘好言安抚。
去德寿宫见太上皇赵构，君臣也十分感慨，吴氏兄弟为南宋偏安局面的形成奠定了最重要的基石。赵构虽然去掉了岳飞和韩世忠，可对吴氏兄弟一直是非常信任，叮嘱吴璘要经常回来相见。赵构还让孝宗的太子也拜见吴璘，孝宗加封吴璘新安郡王，继续让他坐镇巴蜀，一切职权照旧。
但吴挺的确有本事，通过在临安针对禁军护卫方面提出很多改进建议，获得孝宗赵昚欣赏，这样一个优秀将才长期放在后方，的确太过可惜。于是，吴挺是用实际行动获得孝宗信任，终于又返回四川，就意味着吴拱等人际遇又发生改变。隆兴北伐失利后南宋长期没有军事谋划，淳熙三年（1176），孝宗将吴拱又调到临安府任金吾卫上将军，侍卫军都指挥使，相当于把两兄弟替换了。
尽管吴拱离开巴蜀阵地，但也不意味着吴挺完全接管了吴拱的职权，而是另外把原金州都统制郭钧接替兴元都统制、金州都统制于友分别接手，吴挺只出任兴州都统制，兴元都统司所辖地区是原秦川一带，兴州所辖则是相对靠四川一带，权限比过去削弱不少。吴挺毕竟是一代人才，还是从军马筹备，招抚流民、兴修水利等方面做了许多工作，延续着吴家军的威望。但文武矛盾一直是南宋顽疾，吴挺与前来的四川制置使范成大关系不和，军务和行政是长期冲突。
同样有恢复志向的范成大居然延续了与吴家军文武不和的陋习
范成大内心也是希望整顿军务的正直大臣，吴挺并非不清楚对方人品。他也希望与文臣合作，可实际并不容易做好。之后，留正、赵汝愚更是坚定的清除吴家子弟的保守大臣，赵汝愚很早就对孝宗建议：
“吴氏三世专蜀兵，非国之利，请及今以渐抑之”。
总的来说，孝宗在倚重吴家军的同时，其实也默许让文臣故意与吴家掣肘。之后光宗赵惇号称罹患精神病，其实赵惇年轻时的表现并没有病，随着地位变化，父子关系夫妻关系都非常紧张，登位以后反而因各种压力发病。光宗处理事务能力还不如孝宗，而辅佐的留正、赵汝愚都是孝宗留下的大臣，自然延续了过去策略，这就点燃吴曦因封王不成，一气之下背叛南宋的导火线，整个吴家军八十年的荣光就此覆灭。
离开临安时，太上皇、孝宗分别设宴践行，赵构把自己的一把佩刀送给吴璘，说想念他时就可以看看这把刀。吴璘回到巴蜀两年后病故，年六十六岁。据《史传三编》记，吴璘临终前命家人准备遗表，请求孝宗“毋弃四川，毋轻出兵”，没有一句谈到家事 。孝宗为其辍朝两日，追赠太师、信王，谥号“武顺”，功勋和荣耀都不逊于吴玠。
就在吴璘声望达到顶峰时，家族势力在巴蜀的局面已经形成。吴玠死的时候，儿子吴拱还属于青年，威望不够。吴拱协助叔父吴璘，在军中历练，前期属于右护军的下级军官。到绍兴十七年（1147），吴拱负责知成州（今甘肃成县），渐渐独当一面。
绍兴末年遇到金军大举南下的危机。吴拱受吴璘指派领数千人（三千或五千）支援中路李显忠（也是西北军旧将，从北方经西夏归宋曾得吴玠接应，两家关系非常好）的队伍，驻守襄阳，开始成为荆湖地区一支军队统帅，任襄阳知府，后升鄂州御前诸军都统制，成为与李显忠、成闵并列的中路军三统帅之一。
