后来情况又有了新的变化，由于“三桓”长期担任国家的高官，全都住在鲁国国都曲阜，这三大城堡某种程度上又全被他们的各自的家臣（管家）所实际掌控。家臣就是春秋时各国卿大夫家族内部的臣属，其中位置最高的家臣一般充当管家，叫“宰”。例如上面费邑、郈邑、成邑当时的宰分别是公山不狃、侯犯和公敛阳。
因为有地有兵有粮，三家的宗主又天高皇帝远，长期居留国都吃香喝辣，曾经是“三桓”向鲁国国君叫板资本的三大城堡，又成为“三桓”的家臣向三桓耍横、示威的据点，并一度给“三桓”造成了极大的威胁。
家臣利用所控制的这三大城堡，多次侵犯、欺凌自己的宗主“三桓”，一度甚至越过“三桓”而“欺凌公室，摄行君位”，这就是为孔子所痛心疾首的“陪臣执国命”。
如鲁昭公14年，季孙氏的家臣南蒯以费邑为据点反叛季孙氏；鲁定公5年，家臣阳虎（阳货）利用城堡囚禁自家的宗主季桓子，鲁定公8年又挟汶阳之田叛鲁奔齐；如今的家臣公山不狃已经三年不向季桓子缴纳田赋了；鲁定公10年，侯犯又以郈邑为依托反叛叔孙氏等。
也就是说“三桓”的家臣们多次学样宗主对待鲁君的办法来对待“三桓”，这让“三桓”，尤其是季孙氏、叔孙氏寝食难安。
对于当时的鲁定公来说，通过“隳三都”削弱乃至打倒“三桓”、摆脱自己尴尬的傀儡君主局面是求之不得的事情；而对于三桓而言，和鲁定公一样，同样存在着自己的属下——家臣势力太大、自己不时受到威胁的困境。
孔子决定利用三桓与各自家臣的不可调和的矛盾，打着“堕三都、贬家臣”的旗号，明面上是帮助三桓，实质上是既打击了家臣，也顺手削弱了三桓，最终鲁定公一人得实惠，有利于中央集权。
所以孔子提出堕三都后，还没完全想透的季桓子和叔孙氏这两个家臣最大的受害者表示愿意带头拆毁封邑城堡。孟孙氏见两家积极响应和支持，也只得勉强赞成。三桓共推孔子的学生子路为“隳三都”执行总指挥官。
最先拆除的是叔孙氏的郈邑城堡，郈邑宰侯犯一方面负隅顽抗，一方面遣使到齐国贿赂当时的齐国宰相黎鉏。劝说齐国趁鲁国正发生堕三都之乱，派大军压境，伺机攻城掠地。但侯犯所部被孔圣人指挥的军队以迅雷不及掩耳之势击溃，郈邑城被顺利拆除。
接着是季孙氏的费邑，费邑宰公山不狃抓住鲁国王师精锐尽出，忙于“隳三都”之际，趁国都空虚而率军偷袭，企图一举夺得鲁国政权。
早有预案的孔子接鲁定公到季氏府武子台暂避锋芒，同时令左右司马率领伏兵出击。公山不狃大败，逃往齐国，最大的费邑城也被顺利拆除三尺。
最后只剩下孟孙氏的成邑城堡，由于成邑宰公敛阳过去对主子孟孙氏一直忠心耿耿，从无反迹，得到孟孙氏很大的信任。公敛阳对堕毁成邑领地城堡带给孟孙氏的损害洞若观火。
他紧急地对孟懿子陈词：“成邑乃鲁国北门，亦为主公之保障。拆除成城，齐兵来攻，凭何阻挡？万一朝中有变，主公又有何倚仗？没有成成邑，也就没有咱们孟孙氏啊！”
孟孙氏的当家人孟懿子这才醒悟。于是，他表面上支持拆城，但是暗地里又全力支持公敛阳死守城池。这时季孙氏的季桓子也醒悟了：孔子忠于季氏是假，忠于鲁君是真；堕三都的目的，贬三桓家臣不过是顺便，抑三桓强公室才是根本目标。自己的费邑被攻下了，封邑内的军事实力葬送殆尽，自己是最大的吃亏者！
季桓子于是发动叔孙氏坚决不再和孔子合作，反而暗地里支持孟懿子。同时，推去两位重卿的城墙后， 齐国军队就驻扎在齐鲁国边境不远处蠢蠢欲动，如果鲁定公带军队去推掉最后一位公室重臣的城墙，没有了城墙屏障，齐国很可能会以秋风扫落叶之势很快打进鲁国首都来，鲁国三桓的残余势力也很可能会倒向齐国。
鲁定公知道厉害，只得宣旨班师，历时半年之久的堕三都就此半途而废，功败垂成。其根本原因是孔子想提升国君权威的施政方略与“三桓”的擅权矛盾是根本对立的，导致孔子成了三桓的死敌，“三桓”联手把孔子赶出了鲁国。
