矛盾来了。刘义隆要用刘义康，可是刘义康权力大了，刘义隆又疑心，而刘义康却不知道。
刘义康本人读书少，因此对君君臣臣的注意事项并没有多少概念，也缺乏政治权术，造成他对一些应该注意的分寸无法把握。
在宋文帝面前，刘义康只把宋文帝当兄弟，却忽略了还有君臣关系。于是，刘义康在宋文帝刘义隆面前做事大而化之，“率心径行”，根本不注意刘义隆的感受，结果就出现了很多越礼僭制的行为。
刘义康家里养着奴仆6千余人，这是一支庞大的数量，可是刘义康却没有向刘义隆汇报；内外进贡来的好东西，一流上品首先给刘义康，二流给刘义隆。刘义隆曾经吃柑橘，感叹今年柑橘质量不好，刘义康说今年有好的，于是从自己家里取来柑橘，两相比较，刘义康的比刘义隆的还大三寸。
如此一来，即便刘义康和刘义隆两人兄弟情深，也不免被人钻空子。
殷景仁和刘湛本是一对好朋友，两人同时被重用。殷景仁被宋文帝刘义隆重用，刘湛则被刘义康重用，也许两人之间曾经发生了什么事，刘湛总怀疑殷景仁在宋文帝面前说自己的坏话，于是，刘湛就想借刘义康之力压过殷景仁，然后自己乘机掌握中枢权力。
刘义康信了刘湛的话，就屡次对宋文帝说殷景仁办事不行，应该撤职，宋文帝没有答应。
刘湛正常途径扳不倒殷景仁，竟然还想用暗杀的手段，可见，刘湛对殷景仁的态度已经从公事转为私仇了。
慢慢地，随着刘湛和殷景仁两人的对立，也形成了分别以两人为代表的阵营，而刘湛也由最初想取代殷景仁的想法，变成了干脆扶持刘义康取代宋文帝刘义隆了。结果，形成了一种局面：义康擅势专朝，威倾内外，湛愈推崇之，无复人臣之礼，上稍不能平。
刘义康不知权术，也许他并没有留意到自己已经成为了权臣，而刘湛则是有心推波助澜。
宋文帝看得很清楚，他最不愿意看到的就是各位亲王自立朋党，刘义康身边的刘湛越要压制殷景仁，他就越要保护并重用殷景仁。
于是，宋文帝和殷景仁越来越亲密，对刘湛越来越疏远，也对刘义康越来越警惕，他开始有所行动。
宋文帝对刘义康有了限制，他在不知不觉中改变了之前对刘义康授予的“凡所陈奏，入无不可，方伯以下，并委义康授用”权力。
元嘉十三年，即公元436年，刘义康推荐一位叫刘斌的担任丹阳尹，这是京城老大的职位。刘义康禀告宋文帝时，宋文帝立刻猜到他的心思，乘着刘义康还没有说完，就说已经让刘斌担任了远离京城的吴郡太守。
如果刘义康有一些政治头脑，他应该知道文帝刘义隆发生了之前从未有过的变化，可是刘义康似乎没有明白。
后来会稽太守羊玄保卸任，刘义康又想推荐刘斌填补，文帝刘义隆说我已经用了王鸿。
刘义隆以不言而喻的手段剥夺了刘义康的人事权。
元嘉十六年，即公元439年，宋文帝再也不去刘义康府上，“不复幸东府”，表明了自己与刘义康的割裂。
元嘉十七年，即公元440年，一直和宋文帝秘密联系的殷景仁建议：“相王权重，非社稷计，宜少加裁抑！”
同年十月，宋文帝终于动手了，他首先就抓了刘湛并立刻诛杀，之后抓了大批刘义康集团的官员，将他们诛杀和流放。
将刘义康手下全部抓获之后，刘义隆先对刘义康进行了贬斥，之后让他担任江州刺史，出镇豫章，即今天的南昌。
在出镇豫章前停职反省的十多天内，刘义隆派了一个僧人来看刘义康。刘义康问僧人：“弟子有还理不？”此时刘义康还觉得离开京城不舒服，想是否有朝一日还能回京城。和尚没有正面回答，只说了一句：“恨公不读数百卷书。”
刘义康到豫章，如果就此消停，安安静静的低调行事，也还有挽回余地，谁知他的那帮手下人又不消停了。
