汉宋双方虽然达成停火，对于北宋来说，消灭北汉是既定方针，目前的和平不过是缓兵之计而已。因此虽然两国没有交兵，北汉边境却经常受到北宋军队骚扰，导致农民无法下田，农业生产受到严重干扰。北汉本就势力狭小，仅剩的一点耕地又受到这种破坏，对其国力的影响是可以预见的。
严峻的经济形势让刘钧十分忧郁，最后竟然忧愁至死。
新旧交替之际正是一个政权最不稳定的时候。赵匡胤认为这是拿下北汉最好的时机。而由于之前的和解是他与刘钧之间的承诺，现在刘钧一死，承诺便可以宣布无效了。
于是就在北汉新君刚刚即位之时，北宋的大军汹汹而来，”杨无敌“的军事生涯即将面临一场严峻的挑战。苦战大宋
在宋军面前，杨业的“无敌”称号似乎不灵了。
北汉的新主刘继元刚刚即位，李继勋和曹彬率领的军队就已经越过了他们的国境线。刘继元一方面派出使者向辽国求援，另一方面急派杨业和另一名将领率兵扼守团柏谷。
北汉军队行至铜锅河便与宋军先锋何继筠部遭遇，一战便被宋军击破，宋军斩首两千余级，缴获战马五百匹，抓获敌将两人，接着渡河直逼太原城下。
最后北汉是在辽国援兵到来后才得以解围。
但赵匡胤并不死心，第二年，他亲自率军亲征北汉。
这次北汉方面做了充足的准备，一方面仍旧向辽国求援，同时又派遣杨业等人提前屯驻于团柏谷守候，还派遣了一只部队在附近巡查。然而见到宋军庞大的阵势后，这支巡查部队果断举起了白旗。
杨业等人也认识到无法与之抗衡，于是带领兵马撤回到太原城中。此事使得皇帝刘继元十分恼火，收缴了他的兵权。
宋军再次兵临太原城下，在城东南西北四个方向筑起营寨，并引汾水灌城。
正面硬刚打不过，只能采取奇袭。某天夜里，北汉军队趁着宋军尚未列阵的机会，乘夜进行偷袭。其中杨业带领数百名骑兵攻击东寨，结果遭遇驻守东寨的北宋大将党进。
党进画像
党进仓促间带领几名手下迎敌，却还是将杨业击败，杨业最后躲进壕沟中，待到后续部队前来接应之时才乘机用绳索爬进城中，总算是保住了性命。
之后杨业还参与北汉军队的另一次夜袭，不过因为被马弄伤了脚而未能成行。
尽管这次宋军成功包围太原并击败了辽国援军，但北汉还是顽强坚持了几个月，最后硬是坚持到宋军军中出现大规模的集体腹泻，赵匡胤不得已只能率军无功而返。
七年后，赵匡胤基本扫平了南方，于是卷土重来三征北汉。
关于这次征讨的记录并不详细，基本都是前方传来的战报，而且都是捷报，也并不知道与宋军作战的将领是谁。即便其中有杨业的话，也只能徒增他的败绩。
只有李焘在《续资治通鉴长编》中提到一本叫做《十国纪年》的史书中曾记载宋军有过一次失利。但这本书已经失传，我们也无法知道这场败仗的具体情形，况且李焘也没有采纳这种说法，只表示需要考证。
三征北汉因赵匡胤的突然离世而仓促收尾，北汉再一次苟延残喘了下来。
但对于一个只能靠运气来维持的国家来说，灭亡只可能迟到，却绝不会缺席。三年后，即位的赵光义再次北上亲征，这次北汉终于撑不住了。
宋太宗赵光义
值得一提的是，这次赵光义任命的征讨北汉总指挥是潘美（潘仁美的原型），这可能是杨家将与潘仁美真正意义上的一次正面交锋。但史书上没有二人曾经交战过的记录。
史书上甚至没有杨业作战的记录。这次宋军依然连战连胜，辽国援军被打败，孤立无援的北汉如同风中残烛一般，不断有人投降。
最终北汉皇帝刘继元也选择了投降，北汉灭亡。
杨业也投降了北宋，但关于其投降的经过却说法不一。
元朝人根据宋朝国史编写的《宋史》中记载，杨业见太原城孤掌难鸣，认为大势已去，遂劝说刘继元投降，刘继元这才奉表请降。
