在《荡寇志》中，栾廷芳是铁棒栾廷玉的胞弟，祝氏兄弟的授业恩师，猿臂寨主帅陈希真帐下的虎将，官军中善使双刀的战将。他原在泰安府担任提辖，后因看不惯腐朽无能的上司而辞官闲居，家境也随之变得穷困潦倒，靠从亲朋好友中举债度日。后在两位爱徒的引荐下加入猿臂寨，并在途中写信邀请胞兄栾廷玉一同入伙。此后，他跟随陈希真征讨梁山期间，杀败青云山四头领铁背狼崔豪，擒杀青云山三头领饿大虫姚顺及多位梁山好汉，平定梁山后被朝廷授予东城兵马司总管、协忠男等职。
根据书中的描述，栾廷芳是祝家庄教师铁棒栾廷玉的胞弟，祝家庄庄主祝朝奉两位弟弟祝万年、祝永清的授业恩师，在雷部三十六将中排第三十四位。他生得脸方耳大、胡须连鬓，虎背熊腰、气势不凡，手持凝霜飞雪日月双刀，武艺与兄长不相上下，人称双刀栾廷芳。他首次出场是在该书的第十八回。祝氏兄弟入伙猿臂寨后，得知陈希真求贤若渴，要亲自前往礼请栾廷芳时，祝万年主动请缨，带着亲随仆从赶往泰安请恩师出山。栾廷芳虽然生活落魄，完全靠着亲朋的救济和四处举债维持生计，但对落草为寇之事异常排斥。后在爱徒的百般乞求下，才答应先和陈希真交谈一番后再做决定。
栾廷芳和陈希真首次见面是在猿臂寨山下的萧王庙。在二人畅快愉悦的交谈中，栾廷芳还揭开了兄长栾廷玉身的一段鲜为人知的经历。原来，梁山血洗祝家庄时，栾廷玉侥幸杀出重围逃往泰安府，投奔时任提辖的胞弟栾廷芳。栾廷芳得知兄长的遭遇后义不容辞，当即带着兄长面见知府贺刚，希望州府发兵征讨梁山，为惨死的祝家庄亡魂报仇。
但是，知府懦弱无能，畏惧梁山，任凭兄弟二人如何乞求就是不肯发兵。栾廷玉见报仇希望渺茫，悲痛欲绝、心如死灰，几欲自尽殉主，被栾廷芳及时拦住，为此害了一场大病，险些丧命。几年后，栾廷芳也因看不惯上司的腐朽懦弱辞官闲居，生活日渐艰难。
栾廷玉见此情景，也不想再拖累兄弟，于是就跑到更生山镇上开了一家小饭店，但日子过得也是相当窘迫。栾廷芳更为穷困潦倒，生活完全没有着落，只能靠着从亲朋好友中间四处举债度日。得知栾廷芳的境况后，陈希真特意赠送了两锭黄金、二百两白银，邀请栾廷芳带着家小到猿臂寨入伙。栾廷芳入伙途中，又恰好遇到了栾廷玉的爱徒傅玉，便令其带了一封书信给兄长，邀其一同加入猿臂寨，跟随陈希真杀上梁山报仇。
栾廷芳加入猿臂寨后，在首次跟随大军征讨青云山时，因立功心切，与猿臂寨第一女将陈丽卿闹得非常不愉快。但却歪打正着，反而因为这场闹剧立了一场大功。当时，祝永清挂帅出征，栾廷芳和陈丽卿为了争当先锋在大帐中差一点刀兵相向。对于祝永清来说，一个是授业恩师，一个主帅的女儿兼未来的媳妇，两边都不好得罪。栾廷芳首战杀败青云山四头领铁背狼崔豪建功后，祝永清便和众将商议，特意安排陈丽卿上阵对敌，让她杀敌立功，平复一下心中的怨气。
此战过后，栾廷芳对陈丽卿也有了新的认识，对她孤身陷阵的勇气和超高的武艺非常钦佩，二人之间发生的不愉快也迎刃而解。随后，青云山头领艾叶豹子狄雷率部夺寨，栾廷芳手持双刀一马飞出，两人刀锤并举、奋勇厮杀，大战了五十几个回合不分胜负，一直杀到夜晚仍以平手结局。此后，栾廷芳跟随陈希真南征北战，斩杀青云山三头领饿大虫姚顺，攻占飞虎寨时斩杀梁山天罡星、两头蛇解珍，新泰之战中生擒梁山地煞星、摩云金翅欧鹏。在随后进行的濮州之战中，栾廷芳大发神威，斩杀梁山地煞、铁笛仙马麟。至此，在与梁山的较量中，栾廷芳合计擒杀解珍、欧鹏和马麟这三位梁山好汉。官军歼灭梁山后，栾廷芳以功被朝廷授予东城兵马司总管、协忠男等职。