然而，桂祥自己不争气，辜负了慈禧的厚望。乾清门侍卫原本是一个很好的起点，这种侍卫大多是选拔满蒙贵族子弟担当，不需要多少文化，多大能耐。由于他们在皇帝身边当差，非但待遇优厚，而且能优先提升。清朝历史上许多叱咤风云，出将入相的满人高官，如和珅、肃顺等，无一不是御前侍卫出身。可桂祥并没有把这里当做奋斗场，他只是来混日子的。
后来慈禧又把他扶上工部右侍郎的位置并且兼管钱法堂事务，由于工部钱法堂掌管着工部的各项工程经费，所以这显然是个肥缺，大有油水可捞。但这个位置也不是谁都能做的，由于工部钱法堂关系着全国工程的调度运转，对于官员的能力要求还是比较高的。不学无术的桂祥显然无法胜任这个工作，他连账目都看不明白，更别说从里面捞油水了。没办法，只能是走人。
当然，桂祥丝毫不慌，毕竟后面有姐姐慈禧。他这刚下岗没多久，姐姐就给他安排了一个镶黄旗蒙古副都统的差事，还兼管神机营事务。神机营是辛酉政变后成立的以满人为主体的武装力量，武器精良，待遇优厚，担负着战时拱卫京师，抵御外辱，平时则维持皇室治安的重任。这个职位比工部右侍郎显然要更加轻松，只要不打仗，桂祥就基本可以随便混日子。
但是，怕什么来什么，桂祥在担任副都统期间，碰上了甲午战争，被女婿光绪皇帝给吆喝着送上了战场。慈禧虽然担心弟弟，但是也没办法，毕竟前线战事吃紧，需要桂祥手中的生力军。而且，慈禧也希望弟弟能够通过此次出征，丰富一下履历，拿掉叶赫那拉家“承恩公”的帽子。
“承恩”两个字，是蒙受恩泽的意思，意味着公爵的不劳而获。因此，承恩公与栉风沐雨、出生入死，在军功上得来的公爵，不可同日而语。
然而，桂祥这样一个纨绔子弟，哪里会打仗？就连他手底下的八旗兵，也早就腐朽不堪，空有一身好装备罢了。从京城到山海关的路上，桂祥带着他的部队走走停停，完全不像是去打仗，而是观光旅游。到了山海关，桂祥他们也不是整军备战，而是因为营房条件太差，而到处抢占民房，弄得当地百姓怨声载道。
只是表面风光而已，由于是新晋上三旗，他们家家底子并不厚实。但这桂祥由于13岁时姐姐就当了皇后，他摇身一变成了皇帝的小舅子。这就开始飘了，从此化身纨绔子弟，不学无术，时常自恃身份聚集一帮人饮酒作乐，把家底都败光了。要不是慈禧念及姐弟情谊，时常赏他些物件财物，这桂祥估计都揭不开锅了。
而当日军兵峰直指山海关时，桂祥更是不知所措，当着众将士的面痛哭流涕。好在最后光绪将其调了回来，没让他上战场，否则还不知道要闹多少笑话呢。
对于桂祥在甲午战争中的表现，慈禧虽然没有严加惩罚，但深感脸上无光，更有着无尽的失望，一度打消了让弟弟建功立业的想法，将其职位裁撤，让他在家当一个闲散贵族。
不过，这样一来，桂祥的生活水平可就得大打折扣了。桂祥虽然是皇亲国戚，但毕竟之前只是下五旗，家里底子薄。而桂祥这个人又不会打理产业，整天就知道吃喝玩乐，所以这些年也没有靠着姐姐积累多少财富。如今丢了官职，没了俸禄，最大的收入来源就是公爵的岁俸。
按照清朝爵位制度，三等公一年的岁俸是660两银子。这个收入对于普通家庭来讲算是非常可观了，但是对于桂祥来说，连维持公爵府的运转都成问题。对此，桂祥经常厚着脸皮去找姐姐慈禧哭诉，慈禧也打发了不少财物。甚至于后来还给桂祥安排了一个“崇文门监督”的肥差。其收入之丰厚，为京官最优差，年收入达万两银子之多。
就这样，桂祥靠着姐姐的帮扶，生活也算舒适。而在慈禧去世之后，桂祥依然不慌，毕竟他还有个当太后的女儿。隆裕太后虽然没有像慈禧那般照顾桂祥，但毕竟是自己的父亲，所以在其晚年给他找了份养老的差事，到梁各庄“御前侍卫值班”。
