李继勋在太原城南，赵赞在城西，曹彬在城北，党进在城东，按常理来说，围城需要讲究个围师必阙，也就是为了防止敌人狗急跳墙，总要留出个缺口，这是兵家常识。赵匡胤以汾水为后盾，精兵在左右，而且为防御契丹，也做了相应安排，所以赵匡胤敢于不按常理出牌。
一方面攻城在继续，另一方面北方传来捷报，何继筠在阳曲击败契丹部队，斩杀数千人，宋军士气为之一振。为了震慑城中的北汉军民，赵匡胤命士兵将那些缴获的契丹首级、盔甲陈列太原城下，别看北汉已经大厦将倾，太原城仍是攻不下来。
赵匡胤一声令下，早已准备好的宋军开闸放水，一股洪流冲向太原城下，东南城门被洪水冲倒，宋军将士划着小船就冲向缺口。太原已经是弹丸之地，然而城上的弓弩仍没有停息，宋军愣是冲不进去。
因为水已经灌城，宋军也只能坐着小船，机动力明显下降，马步军军头王廷义中箭身亡，殿前都指挥使都虞侯石汉卿中箭身亡。
四、赵匡胤选择撤军
战争已经进行了两个月，宋军却一直无法拿下太原城，看着战死将领的尸体，赵匡胤犹豫了，他开始反思这场战争的意义。
原本这场战争就是意气之举，既然将士们已经尽力了，既然牺牲如此巨大，赵匡胤决定班师回朝。除此之外，契丹的援军也相继到来，宋军在太原城下损失同样不小，如果再与契丹开战，情况可能极其不利，五月十六日，赵匡胤下令班师。
史料记载“是月，北汉主决城下水，注之台骀泽，水已落而城多摧圮。辽使者韩知范犹在太原，叹曰：宋师之引水浸城也，知其一而不知其二。若知先浸而后涸，则并人无类矣。”
没有预料到的是，宋军撤走了，契丹大军却没有走，大水下去之后，太原城墙却直接塌了， 这也很好理解，毕竟城墙内也没有钢筋，这就好比是泡了水的饼干，赵匡胤就差那么一点点运气。
如果宋军再晚撤一段时间，攻克太原城就如探囊取物，对于北汉皇帝刘继元，也算是不幸中的万幸。赵匡胤撤军却并不灰心，如果将北汉灭国，宋朝将直接和契丹接壤，战争一触即发，而南方的南唐、南汉还未收复，作为缓冲地带的北汉仍发挥着重要作用。
此次战争，也极大消耗了北汉的国力，为了落井下石，赵匡胤撤军的时候还捎带了一万北汉百姓，对于本就弱小的北汉更是雪上加霜。赵匡胤很清楚，即便此次战事失利，北汉早晚也是宋朝的囊中之物，南方平定之日，就是北汉覆灭之时。
