洪秀全日日在天京天王府内与美人饮酒作乐，此时曾国荃带领着军队向天京逼近，天京形势严峻，洪秀全为防止被围困，令李秀成从苏州回来援助天京。李秀成带领六十万军队攻破湘军阵地，把曾国荃的两万湘军围了个密不透风。太平天国有李秀成这种佼佼者，最终还是输给了湘军，要知道当时湘军只剩下不到一万多人，湘军在雨花台和李秀成的太平军打了46天的持久战，这一战非常残酷，湘军以少敌多打败了李秀成，洪秀全身亡，可见湘军内部的人员并非一般人。
曾国藩的这支军队，从建军到攻打天京，总共损失了将近90万人，为了与洪秀全对抗，曾国藩不得不继续招兵买马，但是兵不好招，就连来路不明江湖人士也都一同招进来，他们大部分来自湖南省，这些人本来混迹江湖勾帮结派，他们把江湖气息也带进了湘军内部。
湘军招募江湖人士并没有什么不妥之处，只要对这群人进行了正规地改造就可以了，但是湘军内部的制度不但不能改造这群人，还助长了他们直接在湘军内部勾帮结派称兄道弟。这群人在江湖上叫做“袍哥”或者“哥老会”，他们之间会烧香结拜自成一派，兄弟之间互相帮助。
“哥老会”进入湘军之后在军队中患难与共，带着他们的江湖义气和其他人有福同享有难同当，他们的义气拉拢了越来越多的人，他们结盟建立起袍哥组织，人们陆陆续续加入这个组织，袍哥组织在湘军中日益壮大。他们姓氏不同但是结拜成了兄弟，这一条在清政府的法律中是被禁止的，但是清朝也很少过问曾国藩的湘军，曾国藩本人也没有禁止这种行为。
后来由袍哥组织起来的湘军已经成为了虎狼之师，他们肝胆相照、同生共死，时间久了之后他们江湖人士的本性就慢慢暴露出来了，整个湘军就变得袍哥做主了，他们完全有能力取代湘军自建一支军队。短短一年时间里，袍哥组织在湘军作乱十多次。
他们殴打群众，预谋杀害蒋益澧、抢劫司库，但是被蒋益澧发现，蒋益澧一怒之下斩首了袍哥组织三十多人。
后来一部分的袍哥成员背叛了湘军，加入了太平军的剩余部队，曾国藩也开始认为，袍哥是湘军的定时炸弹。最后曾国藩裁撤湘军，一是因为钱财短缺没办法养兵，二是袍哥江湖气息已经严重影响了湘军，实在没办法再重用湘军。