林冲是梁山的元老之一。当年他杀死陆谦和富安、火烧山神庙后，穷途末路，最终只得投靠梁山。其时，首任寨主白衣秀士王伦嫉贤妒能，对林冲百般刁难，令林冲大为不满。尔后，晁盖、吴用等人上山入伙，王伦欲又想向他们拒之门外。林冲盛怒之下，火并王伦，拥立晁盖为第二任寨主。从此，梁山进入晁盖年代。后来晁盖征讨曾头市中毒箭身亡后，林冲又是带头拥立宋江为寨主的头目之一。在程善之的《残水浒》中，发生了一个很风趣的故事。明知林冲一去不回，宋江心中不忍，意欲强留，吴用只说出了一个人名，吓得宋江立时脸色大变，赶忙做了个顺水情面，让林冲离开了梁山。
林冲的这段故事发生在该书的第九回。双枪将董平中毒身亡后，宋江心中怒火难平，将整件工作都归罪于扈三娘在山寨中公开报仇、诛杀黑旋风李逵，一时刻对“报仇”二字疾恶如仇。而恰在此时，林冲也探得了对头的音讯。本来，梁山进攻兖州时，被贬在兖州担任监酒税官的高俅幸运躲过一劫。为了远离是非之地，高俅重金贿赂童贯，妄图带着一家人回来京师。林冲和高俅父子仇深似海，有这样报仇的好机会怎能容易放过，便向宋江请调一队戎马前往南旺营一带进行截杀。
不过，林冲深知宋江的心思，不敢提起报仇之事，便径自找到吴用协商对策。吴用说道：“若说要请调戎马的确棘手，需求有适宜的理由，不只要公明哥哥快乐，还必须得让咱们服气。但高俅被罢官后无权无势，要劫他们父子还不是捉小鸡相同手到擒来的工作，何须非得请调戎马呢？既然是在水面上干事，只需请阮家三兄弟出马就足够了，再不济，添上个时迁，足足有余。好在南旺营离山寨也不远，一来一去也就十多天时刻，公明哥哥那里不着急说。”林冲依计而行，在阮氏三雄和时迁的协助下，将高俅一家诱入断篙港中捕获，将其押回了山寨。
得知此过后，宋江体现得非常大度，在忠义堂分配了高俅的一应家什和婢妾后，亲身带着众头目在山神庙中设祭。林冲命人将高俅父子在水边洗涮洁净，披红插花、木塞衔口，捆来一头牛协作三牲祭礼摆上祭盘，周围有学徒曹正手捧利刃服侍。林冲对曹正说道：“亡妻生前经常吃斋保素，无法享用这番血肉，祭礼完毕后将牛放生，把高俅父子送厨下烹调。”祭礼开端后，林冲手捧酒杯，含泪说道：“贤妻！你生平情意，我十年来谨记心头，今天大仇得报，你魂灵有知，莫嫌山寨不干净，来享一杯吧！”说罢，痛哭流涕、肝肠寸断。随后，宋江带着众头目们一一上祭。
十多年的血海深仇今朝得报，可谓是皆大欢喜，但好音讯还不止如此。就在祭礼当天，林冲还收到了老友王进的一封信件。本来，自从高俅失势后，林冲早年的百十位学徒们联名上书刑部，要求重审林冲一案，总算令林冲担负十多年的罪名沉冤得雪。学徒们还从礼部为林师母请了旌表，在林家祖坟为师母歌功颂德。王进回家葬母时，刚好离林家祖坟不远，为了奉劝老友重归正途，王进将碑铭拓了一份，并附上了一封言辞恳切的亲笔信。林冲将碑铭和信件足足看了几遍，神态黯然、低头不语。
吴用见此情形，对宋江叹气道：“林教头去意已决，不久便会下山，多年的要好兄弟，不料今天就如此完毕了！”宋江听后匆促问道：“军师可有方法留住他么？”吴用无法地回答道：“公明哥哥莫非忘了他是怎样对待王伦了吗？咱们山寨之所以可以兴隆，多是由于奸臣当道，各路好汉不得进身，所以纷繁来投。现在有了门道，怎样会在一个小小的山泊里终老？林冲宏愿，绝不行强屈，仍是做个现成情面吧！”一听吴用说到王伦这个姓名，宋江马上脸色大变，不敢再有强留林冲的想法。