数年后，周世宗在攻占三关之后驾崩。次年（960年）正月，后周大将赵匡胤篡周自立，是为宋太祖。宋太祖与谋臣定下先南后北的统一方略，战略上对契丹、北汉取守势，而专心于攻灭南方各诸侯割据政权，然后再回兵北上，完成统一天下大业。此时当国的辽穆宗胸无大志，此后称帝的辽景宗因内政尚有隐患，故对宋之策略，除出兵援助北汉，或时而攻扰宋之边境州郡外，也未有大的举动。因此，辽、宋之间处于相对平静状态。不过，曾参与高平之战的宋太祖对北汉竟然凭借太原弹丸之地与己为敌，甚感不爽，故还是前后多次出兵攻击北汉，但终因时机还未成熟，太原城坚地险，民风强悍，加上辽军屡屡遣兵马援助，故始终未能得手。

宋军一伐北汉：968年（宋开宝元年，辽应历十八年）七月，北汉皇帝刘钧（刘崇之子）死，其养子刘继恩继立。刚愎自用的刘继恩，几度欲废黜独揽朝政的宰相郭无为，且又因怯弱无能，让郭无为先下手为强，利用混人北汉内部的宋朝间谍侯霸荣等刺杀刘继恩，然后出面杀死侯霸荣以灭口，再扶立刘钧的另一养子刘继元为北汉皇帝。此后，郭无为依仗自己策立天子的功勋，独断专行，引起了刘继元等人愤恨，北汉内部矛盾进一步激化。宋太祖有见于此，认为有机可乘，便不顾既定的“先南后北”统一战略，临时命令大将李继勋、郭进、曹彬等统领河东诸州精兵，军分东西两路北伐太原，很快攻人北汉境内，败北汉兵于铜锅河，连克北汉外围营寨，直逼太原城下，焚烧了太原城之延夏门。新继位的刘继元大为惊恐，一面拒绝宋人劝降，一面遣使向辽求救。辽穆宗虽沉溺于酗酒、游猎而怠于理政，且北汉与辽朝之间因各种利害冲突而存在着颇深的矛盾，但他也深知北汉一旦被灭，那将使辽、宋之间的力量对比向不利于自己之方向转变，所以在接到北汉求援书后，随即派遣大将耶律述烈率军赴援。宋太祖其实并未做好与辽军作战的准备，只是寄希望于内乱的北汉政权不战而溃，故而久攻太原城不下的李继勋等宋将，在获知辽援兵已迫近的消息后，担心腹背受敌，于十一月仓皇退军。北汉军趁机联合契丹兵马杀人宋境，大掠一番后北还。

宋军二伐北汉：能征惯战的宋太祖颇不甘心首次征伐北汉却无功而还，决计再举。次年969年（宋开宝二年，辽应历十九年）正月，宋太祖诏发军储，命诸路军马进屯河东潞、泽、磁等州。二月，宋太祖下诏亲征太原，遣昭义节度使李继勋等部先赴太原，自己率大军随后跟进。鉴于去年未防备辽军赴援而失败的教训，宋太祖预先做了部署，命河北方面宋军严防契丹骑兵乘虚攻扰河北诸州，以威胁宋军主力的侧后，同时任命将领何继筠为石岭关部署，屯兵险要的战略要地石岭关（今山西阳曲东北），以阻击自燕京方向来援的辽兵。但人算不如天算，考虑周详且势在必得的宋太祖，却未曾料到天气会跟自己过不去+当宋军主力进至潞州一带时，却遇到了连绵阴雨，整整耽搁了十八天。到三月中，宋太祖抵达太原城下，筑长围，立连珠寨，四面围攻时，北汉人的守城准备已大体完成。四月，刚刚继承了皇位的辽景宗，虽然首选任务是稳定内政，但得悉北汉的求救要求以后，还是命令燕京地区的辽军兵分两路：一路杀向河北定州，被宋军击退-另一路自石岭关人援太原，但遭到了宋将何继筠的阻击，辽将王彦符等百余人和战马*〇〇余匹被俘，阵亡上千人。当时北汉所凭恃坚守而不降者，一为城坚，二为辽援，所以宋太祖命令宋军引汾水灌城，并将斩获的辽人首级等陈列在太原城下，北汉军民见之“气夺”，但依旧顽强守御。北汉骁将刘继业（即杨业）屡次率兵夤夜出城攻击宋寨，虽都被杀退，却迟缓了宋军的攻势。不久，在河水的多日漫灌和浸泡之下，太原南城一段城墙崩塌，宋军驾小船蜂拥而上，强攻城墙缺口，不料处于绝望中的北汉守军格外顽强，抵死相抗，设法堵好缺口，击退了宋军的强攻，宋军石汉卿、王廷义等悍将战死。宋太祖大为震怒，亲督诸军围攻更急。但经历了四个多月的苦战，宋军的攻势实际已成强弩之末，而天又暑雨，驻兵于潮湿草地之中的宋军士兵多得病，痢疾流行，士气低落。此时，辽北院大王乌珍又率第二批援兵突破宋军的阻击，赶到太原城西，对攻城的宋军形成很大的威胁，并大大鼓舞了太原城中北汉军的士气。无计可施的宋太祖只得听从谋臣的班师建议，宋军再次无功而返。此后，宋太祖又一次掉兵南向，转回到了“先南后北”的既定方略上来。本已穷困已极的北汉，因获得了宋军匆忙撤退时遗弃的大量军资，而“赖此少济”，但终究元气大伤，再也不能对宋朝形成实质性的威胁。