遭遇尼西亚残部顽抗的拉丁帝国军队
最后，威尼斯人的树大招风，也招致地中海西侧的强敌热那亚嫉恨。后者为了能突破博斯普鲁斯海峡的阻隔，在富庶的黑海水域开拓出一席之地,不惜全力支持拉丁帝国的所有敌人。那些分散在大海两头的封建领主，原本就非常依赖威尼斯的海上力交通支持。但在同样厉害的热那亚舰队抵达后，这样的微弱优势也已荡然无存。他们不得不用日益萎缩的封建化军事力量，去分头应付从不同方向上杀来的对手。
嫉恨威尼斯的热那亚 也是瓦解和限制拉丁帝国的重要推手
讽刺的是，拜占庭帝国的中央集权制因君堡陷落而出现松懈，居然还促进了希腊其他区域的经济复苏。由于不再为大批官僚所限制，这些地方的经济负担明显下降，转而有更多钱和精力被用于武装自保。他们的存在本身，并不会威胁到威尼斯与热那亚人的贸易据点，却是对拉丁帝国的惨烈肢解。后者基于西欧式的封建政治传统，不会像拜占庭人那样去对地方势力逐个拔除。反过来又加剧着土地资源吃紧，无力支撑起足够强势的新皇权。至于已退往东方的拜占庭尼西亚分部，更是不需要为剪除地方势力而耗资维持庞大官僚队伍，从而比拉丁对手们更容易聚集起财富。
退居尼西亚的拜占庭残部
当然，尼西亚的统治者若要维护自身正统性，也不能放弃对君士坦丁堡的争夺。其原理非常类似后来的“攘外必先安内”，常见于对权力存在变态式追求的文明衰败区域。所以，侥幸出逃的拜占庭贵族就推行起许多具有浓厚集权色彩的临时举措。包括限制地方上同意大利商人进行贸易，将大部分土地资源都用于供养军队，还要在外交上与信仰伊斯兰教的突厥人保持平和状态。总而言之，就是将拉丁封建贵族们视为绝对死敌，而将威胁更大的意大利商团或突厥部落都放在一边。
尼西亚帝国的全部资源都被用于反攻君士坦丁堡
与之相比，拉丁帝国的上层则明显遭遇到制度性的水土不服。除宗教领域的信仰差异，他们还习惯性将西方老家的封建制度搬运到希腊语区。但支撑全套体系的义务和索取兑换机制，却让习惯于中央集权管理的人群感到不适，甚至会将之视为软弱。拉丁贵族们也从未捡起拜占庭希腊的大规模官吏机构，以至于连税收都无法保障，不得不靠定期求来的国际援助度日。
拉丁皇帝的“荆棘冠冕”为凑钱而以 13134金币的价格专卖法王王路易九世
于是，仅仅在帝国建立后的20年，萨洛尼卡就被原属于拜占庭体系的伊庇鲁斯君主国占据。一门心思搞单边主义的尼西亚余孽，也夺取了小亚细亚半岛部分的失地。退守君士坦丁堡和小块色雷斯领地的拉丁人，仅仅是靠蒙古大军的西征才延缓了灭亡日期。期间，原本隶属于自己麾下的雅典公国，也被领不到军饷的加泰罗尼亚雇佣兵篡夺。这让他们可以征调的援助越来越少，几乎没有任何主动改变局势的能力。
晚期的拉丁帝国 领地日益萎缩
公元1261年，拉丁帝国的戏剧性覆灭终于开始上演。尼西亚帝国的将军阿莱克修斯，只率领一支800人巡逻队，就轻易的从保加利亚边境南下到君士坦丁堡附近。他还从当地的希腊农民嘴中得知，堂堂拉丁皇帝竟为多凑一点军费，把自己的卫兵都出租给威尼斯舰队作战。于是，希腊复国者在夜里派小队士兵潜行，找到一扇无人看守的小门，不费吹灰之力的混进君士坦丁堡城内。倒霉的末代拉丁帝国皇帝鲍尔温二世，还要在逃会西欧洲继续还债，终身为眼前的天文数字所不断困扰。
