陈国瑞尽管凶横好杀，却从不滥杀大众，不扰当地妇女。
同治元年正月，捻军进攻淮安区域，漕运总督吴棠向袁甲三借将。
袁甲三忍痛割爱，派陈国瑞归吴棠指挥。
陈国瑞战于车桥、版牐、众兴，超擢副将，加总兵衔。三月，再战于桃源、清河、山阳、宝应等地，又交军机处记名以总兵。
一时间，吴棠倚陈国瑞为长城，如奉宠儿，全部顺其所为。
太平天国天长守将陈士明认陈国瑞为寄父，屈服清朝，献出天长，改名陈振邦，随陈国瑞征剿太平军、捻军。
僧格林沁入山东攻棍、幅各军，经袁甲三推荐，陈国瑞转投僧格林沁门下，气焰愈加放肆。
不过，陈国瑞也真有放肆的本钱。其于咸丰二年二月杀刘兆青等1000余人，随后又攻破中村，杀孙化详等。五月，攻兖州凤凰山，在白莲池诱擒刘双印。
在平定苗沛霖的暴乱中，僧格林沁檄令陈国瑞先发。陈国瑞至蒙城，先袭破红里贼圩以通粮道，继克王圩，越重壕进逼贼巢，亲引军渡河焚贼粮屯，连破数垒。逼得苗沛霖夜遁中为人所杀。
至此，陈国瑞以提督记名，授浙江处州镇总兵。
同治三年，陈国瑞又在僧格林沁麾下极力剿捻，战于蕲水、蕲州、罗田、广济，战功很多，僧格林沁军中称其为榜首名将，威望极隆。
同治四年四月，僧格林沁败死于山东曹州。陈国瑞所率步勇2500名也死伤过半，仅余900余人，陈国瑞自己因身受重伤得避免议。
陈国瑞恃功桀骜，自僧格林沁外，罕听控制。
僧格林沁身死，则僧格林沁所部北方八旗清军由曾国藩接收。
曾国藩传令陈国瑞赴援归德。
陈国瑞军过济宁，发现刘铭传的淮军已占据济宁之长沟，且所配洋枪洋炮精巧，陈国瑞既恶刘铭传之得功，又艳羡淮军之洋枪，乘淮军不备，忽然建议狙击，猛攻淮军营地，妄图杀人夺械。
刘铭传闻变，亲身指挥反击，依仗精巧的火器，将陈国瑞三军消灭。
陈国瑞跃登民屋，却无路可逃，束手待毙，被置空楼中三日，仅供糜粥，使饥而不至于死。
陈国瑞不胜饥饿，只好乖乖服软。
陈国瑞最精锐的部队却在这次内讧中被消灭，从此一蹶不振。
陈国瑞找曾国藩投诉，曾国藩批牍数千言，历数陈国瑞恶行，撤其帮办军务，褫黄马褂，暂留处州镇将功折罪。
陈国瑞悻悻不快，养病淮安，纵恣不法，经常要杀人排遣。
义子陈振邦已官至总兵，偶与陈国瑞有言语抵触，陈国瑞一蹦三尺高，指其为忤逆，拔刀追杀。
陈振邦不得已，慌乱逃出陈府，急奔吴棠漕运总督衙门求救。
吴棠藏陈振邦于督署。
陈国瑞怒气冲冲，率数十亲兵到督署捉人。
时已二更，署中闻变，急闭大门。
陈国瑞督队相攻，守门者呵斥说：“汝赖漕帅卵翼扶持以有今天，乃敢反耶？”
陈国瑞理直气壮，说：“以子叛父，非反而何？吾捕反父之子，且讨匿反贼之人耳！”
惋惜署门巩固，陈国瑞屡攻不下，怒急攻心，以头触门，痰涌气厥，寂然扑地，昏死过去。
吴棠命人将其绑缚，劾其病癫，褫职，押送回籍，收其盐本、田产没收。
同治六年春，张宗禹捻军实力复炽，侵犯畿南。
陈国瑞重新得到重用，两昼夜驰抵保定，数败贼，战济阳、德平，皆捷。
陈国瑞，因而悉复原职。
不久，陈国瑞以旧伤复发为由，乞假旅居扬州之宜园。
在扬州，陈国瑞与同为降将的李世忠发生了火并。
陈国瑞与李世忠的对立由来已久。
原先，陈国瑞得僧王溺宠，有备无患，经常镇压李世忠。
同治元年，陈国瑞在高良涧曾曾拘留李世忠的饷银数十万；同治二年，陈国瑞又在寿州截杀杀李世忠部将，抢夺强占蔡墟的劳绩；同治三年，陈国瑞又诬害李世忠勾通苗沛霖，抢掠李世忠的盐船、马鞍及衣物。
李世忠不敢则声。
