舒尔哈齐明目张胆地树立个人的权威，逐渐构成了对努尔哈赤地位的挑战，两人的关系也日益紧张，在诸贝勒共同参加的会议上，两人常因意见相左而激烈争吵，努尔哈赤开始意图除去他这个潜在的对手。
机会终于来临，1607年三月，居住在蜚悠城的一小支满族部落，由于不堪忍受临近的乌拉部的奴役，想来依附努尔哈赤。努尔哈赤对此自然十分高兴，于是他就派出了舒尔哈齐和他的儿子褚英、 代善，将领费英东、扬古利、常书领兵三千，前往蜚悠城收编该部。
当舒尔哈齐等人行至半途的时候，他就满腹狐疑的对同行的将领说看到帅旗上有一层淡淡的幽光，想要退兵。显然这是他为退兵所想的借口，不想执行这一使他为难的任务，不过在褚英、代善的反对下，只能作罢。到达蜚悠城后，该部落酋长策穆特黑带领的五百户人丁早已做好了出发的准备，于是很快这支队伍就踏上了返回的道路。
乌拉贝勒布占泰得知消息后，立即带领一万骑兵赶来拦击，双方军队摆出了交战的阵势。但这时，舒尔哈齐却带着自己属下的五百人退到了一边，他不想破坏与姻亲的友好关系。只有褚英、代善率军英勇奋战，舒尔哈齐只在一边观看，他的部下常书、纳齐布也没有加入战斗。正是由于舒尔哈齐的消极退避，最后褚英、代善虽然打败乌拉骑兵，但是没能给以致命打击。
舒尔哈齐班师回朝之后，努尔哈赤准备将他的下属常书、纳齐布以临阵脱逃的罪名处死，以剪除他的左膀右臂同时也是杀鸡敬猴。但是舒尔哈齐的反应十分强烈，说杀他们就是等于杀我，誓不低头，大有决一死战的阵势。最后努尔哈赤为了避免公开的冲突，便做出了让步。他只罚了常书一百两黄金，夺了纳齐布下属的人马，并且从此以后剥夺了舒尔哈齐指挥军队的权利，将他排挤出了最高军事领导层。
舒尔哈齐的地位由此一落千丈，他变成了一个有名无实的人物，这是他愤恨难平，痛感自己与努尔哈赤势难并存。于是，他与长子阿尔痛阿，三子扎萨克图商议，图谋另立门户，与兄长分庭抗礼。
于是舒尔哈齐带着几个儿子和少数部下来到了铁岭东南的黑扯木，在那里伐木建造房屋，开辟新的根据地。而黑扯木临近明朝的军事重镇铁岭，可以直接依靠明朝的军事保护，在他的东面又与乌拉部落接邻，能随时得到盟友的援助。舒尔哈齐开始与努尔哈赤越来越疏远了，转而靠近明朝了。李成梁看到这一分化满洲的大好机会，于是火上浇油，故意挑起矛盾冲突。他上奏朝廷册封舒尔哈齐为建州右卫首领，这是明朝在满洲地区设立的最高地方军事长官。如果明朝的这一分化策略成功的话，满洲就极有可能再次分裂，这是明朝所愿意看到的，但是他们并没有如愿以偿，这一局面并没有出现。
努尔哈赤再也无法容忍自己的亲弟弟的分裂行为。他首先是责令舒尔哈齐放弃自立为王的念头，在劝说无效的情况下，他断然采取了强硬措施，于1609年三月，舒尔哈齐的两个儿子阿尔痛阿、扎萨克图被努尔哈赤诛杀，部将武尔坤也被处死。努尔哈赤余怒未消，仍打算将他的次子阿敏处死，只是在皇太极等人的极力求情下，阿敏才逃过一劫，免于一死，不过他的一半家产被没收。但是这次的事件，使阿敏在心里产生了和他父亲一样的想法—反叛伯父的念头。
面对兄长咄咄逼人的姿态，舒尔哈齐失去了继续抗争的勇气。他知道自己的实力远远不如兄长，而且他所指望的靠山，驻扎在辽东的明军，现在也处在岌岌可危的境地，根本不是努尔哈赤的对手。在万念俱灰的绝望处境下，舒尔哈齐回到了兄长的帐下。
但是这次的努尔哈赤对他不再讲兄弟情谊了，舒尔哈齐被囚禁在一间暗室之中，用铁锁锁住，仅有两个孔穴给他送食物。
史书上记载说：“弟贝勒仍不满其兄聪睿恭敬汗之待遇，不屑天赐之安乐生活，遂于辛亥年（万历三十九年）八月十九日卒。”（《满文老档》上，第一册）
1611年八月，舒尔哈齐在囚禁中死去，时年四十八岁。据说，他是被兄长努尔哈赤秘密杀害的，不过这是清初的几个疑案之一，真相究竟如何已不得而知。不过他死后，他的后代并没有因他的反叛行为而获罪，六子济尔哈朗还成为了以后的辅政王，掌管清廷政权一时，这是后话了。
