1854年农历新年期间，曾天养带兵袭击清军兵营，清军十三座营房被毁，湖广总督吴文镕跳水自杀。两月后，曾天养又带兵连下数座城池，直到后来林绍璋兵败湘潭，曾天养才带兵回撤岳州（今湖北省岳阳市）。
在岳州，曾天养和湘军打了十次岳州争夺战，都没有拿回岳州，但是他和韦志俊依旧给了湘军一个痛击，在城陵矶狠狠的重创饿了湘军水师主力，让曾国藩都不得不感慨：（水师）损失将半，伤心陨涕，愤恨何言。后来湘军水师用了很长一段时间才缓过神来。
终究是战将，不能忍受自己在同一个地方几次败给同一个人。城陵矶重创湘军水师之后，曾天养四处寻找湘军悍将塔齐布，最后还真遇到了，不过曾天养没有杀死塔齐布，反而被塔齐布所杀，“健卒黄明魁矛刺酋坠马，塔齐布手刃殪之”。
曾天养死后，洪秀全很痛心，让人没有想到的是，曾国藩也特别痛心，他是很佩服曾天养的，“其人是一好手，资格最深”便是曾国藩听说曾天养战死后发出的感慨。
