在晚清时期，桂祥算是众多人羡慕的大臣了，他的亲姐姐是慈禧太后，女儿是隆裕皇后，女婿是光绪皇帝，按理说桂祥的条件在当时整个清王朝都算数一数二的，应该权势熏天才对，可事实上的桂祥日子过得十分窘迫，他的一生大多在穷困潦倒中度过。
慈禧有两位弟弟，分别是照祥和桂祥，照祥在继承父母爵位两年后就亡故了，慈禧作为一个统治晚清近半个世纪的女强人，她很看重娘家人的力量，对于二弟桂祥，慈禧在掌权后，一直是关照有加，多次提携桂祥,先是把家族承恩公的爵位给了桂祥，先后出任了工部右侍郎、镶黄旗副都统等职位，在慈禧的操控下，桂祥的女儿也成为皇后，贵为大清国皇帝的老岳父，刚开始的桂祥是和贫困潦倒丝毫不沾边的。
慈禧为了重用桂祥，提高他在朝中的威信，在光绪二十年“甲午战争”爆发的时候，前线打得一塌糊涂，北洋水师战败，慈禧太后指派桂祥带兵出关迎战，本来想给桂祥一个建功名的好机会，谁知桂祥这次出征，却上演了晚清对外战争史上，一连串令人哭笑不得的场面。
从京城到山海关这一路，桂祥一路上走走停停，到了前线以后，强占百姓民房，在战场上当着众多兵士的面，吓得面如土灰、痛哭流涕，他选择临阵脱逃，最后因为怕死逃回了北京城，这场丑态百出的出征，才算画上句号。
桂祥在文武百官面前丑态百出，也彻底让慈禧失望，慈禧深感丢脸，因此再也不考虑给他重要官职，后来袁世凯给桂祥找了一个肥差，当崇文门监督，这个工作主要负责崇文区的田税和商税收，桂祥放手打捞，一时间赚得金钵满盆，但是好景不长的是，一场大火把桂祥的府邸烧得精光，桂祥所打捞的财富毁于一旦。
慈禧对桂祥更多的是恨铁不成钢，不仅后来不赐官给桂祥，反而时常命人训斥，本来慈禧太后给了桂祥很多财物接济生活，然而他却天天在家抽大烟混日子，闲散时间，经常请一群朋友去酒馆喝酒，桂祥是一个爱面子，爱摆谱的人，和好友一起喝酒作乐的时候因为是慈禧弟弟的身份很受周围人的吹捧和抬举，所以请客喝酒都是桂祥买单。
因此时间一长，慈禧给的补贴就花完了，没钱的时候，就把慈禧赏赐来的古玩字画和珠宝等一些值钱东西去当铺换钱，慈禧得知桂祥的举动后，也就平时赏赐些瓜果时鲜，并不赏赐贵重财物，而他的女儿隆裕皇后虽然看见自己的父亲贫困潦倒，可是隆裕皇后在慈禧太后的掌控下活的小心翼翼，不敢忤逆慈禧的意愿，也没有接济桂祥。
桂祥一生碌碌无为，慈禧太后去世后，桂祥的生活更加贫困潦倒，1913年12月，叶赫那拉桂祥离世，家中没有银两治丧，溥仪得知后赏银子五千两银子给桂祥家用于治丧，桂祥作为慈禧的亲弟弟，一生贫困潦倒，说到底还是因为自己能力太差导致的。
