不久，吐蕃维州守将悉怛谋请降，李德裕派兵入据其城。牛僧孺却害怕李抢头功，就将悉怛谋及随从遣返吐蕃，不料却被吐蕃官吏杀死在维州城下。
唐文宗见牛僧孺为一己之力而将朝廷安危不顾，感到很害怕，就将李德裕调回京任兵部尚书。京兆尹杜悰向李宗闵提出建议，通过推荐李德裕任御史大夫的方法，与李德裕修好。得到李宗闵的同意后，杜悰造访李德裕，提出这一方案。李德裕十分高兴。
谁知，李宗闵在与杨虞卿商议后，却对上述方案不了了之，错过了双方和解的最好时机。
833年 (文宗太和七年)，李德裕拜相，将杨虞卿、张仲方、张元夫、萧浣等牛党人物降职，出为地方官。不久，李宗闵出为山南西节度使。
可仅仅一年，掌控大权的李训、郑注等人为排挤李德裕，又一次引荐李宗闵入相。李德裕只好调任镇海节度使。
此后，唐穆宗、敬宗、文宗三朝，牛李两党都被当时掌权的反宦官的李训﹑郑注排斥朝外。
840年 (开成五年)，文宗去世，牛党和他们依靠的宦官所支持的继承人未能继位，另一派宦官拥立唐武宗即位﹐牛党失势。李德裕自淮南节度使入为宰相，开始了李党独掌朝政的时期。
牛党被排斥出朝廷之外，其领袖牛僧孺、李宗闵虽然早已身在外地，也被贬职流放。李德裕虽在会昌年间讨平泽潞叛乱﹑破回鹘﹑废佛教等几个方面作出成绩，但他独断专行、排斥异己的作风不但为反对派所憎恨，也为宦官所不满。
一年后，武宗召李德裕入朝为相，信任有加，李宗闵、牛僧孺等被李德裕贬黜。
宣宗即位后，为了夺回朝政大权，调任李德裕为荆南节度使，白敏中拜宰相，李德裕一再被贬往边远地区。
此时李宗闵病故。
847年(唐宣宗大中元年)，牛僧孺病故，“牛党”失去大靠山。
仅仅两年后，李德裕病故，“李党”也遭到清洗。
与此同时，“牛党”成员悉数执政。
实际上，在这次长达四十余年的“党争”里，唐王朝是最大的输家，而各地藩镇、起义军是最大的赢家。
