宋太宗在烛影斧声中继位，内心总不踏实。以他的特殊身份和多年经营，虽然还不至于有公开指责他合法性的臣民，但飞短流长似乎难免。尽管找不到官私史书的正面记载，但即位次年有两道诏书泄漏出个中的消息。十月，太宗下令全国禁止天文、阴阳、卜相之书，有私习者斩首。十二月，他命令对全国送到京城来的三百多名天文相术之士进行甄别，把六十余人留在了司天监，将其余近三百人都一股脑儿发配到沙门岛上去了。
留在司天监做官是利诱，禁书和流放是威胁，理由都是“矫言祸福，诳耀流俗”。如果只是对普通百姓“矫言祸福”，没有必要堵住他们的嘴巴，把查无实据者统统发配到与世隔绝的海岛上去，对私习者则要他们的脑袋。唯一可能就是“矫言祸福，诳耀流俗”的对象牵涉到继位问题，才逼得太宗出此狠招。
在防民之口的同时，太宗急于完成统一大业，既证明自己是太祖当之无愧的继承者，以提高个人的威望，也可以转移朝野的视线，不再对他继位的合法性说三道四。当时南方还剩下龟缩福建一隅的陈洪进和吴越国的钱俶，都是只待收拾的囊中之物，而北汉因有契丹的撑腰，仍然割据河东，有一场硬仗要打。
五代中期，十国之一的闽被南唐灭亡，原割据泉、漳两州的留从效得到南唐的认可，被封为清源军节度使。北宋建立当年，从效上表称藩。建隆三年（962年），从效去世，少子绍镃主政。牙将陈洪进诬指他准备将土地献给吴越，把他捆送给南唐发落，推举统军副使张汉思担任节度留后，自己当节度副使，大权在握。后来陈洪进又囚禁了汉思，遣使宋朝请求承认。太祖当时无暇南顾，改清源军为平海军，仍授陈洪进为节度使。南唐灭亡以后，陈洪进与吴越向来不和，颇不自安，便在太平兴国二年（978年）亲自入朝。太宗待他礼数倒很优厚，就是过了大半年还不放他回去。他现在倒落入了当初汉思被囚的处境，次年，只得向太宗上表献漳、泉二州十四县。
吴越自宋朝建立以来，每年朝贡，态度一直相当恭谨。南唐灭亡的次年，钱俶与妻、子入朝，因为太祖曾约他晤面“以慰延想”，并许诺保证让他回国。到达开封以后，太祖赐他剑履上殿，书诏不称名，极尽礼遇。群臣纷纷上章，建议扣留钱俶，太祖信守诺言，放他南归，感动得钱俶留着泪表示愿今后三年一朝。临行，太祖赐他一个黄包袱，封裹严密，嘱咐他在路上细看。途中打开一看，都是群臣请求扣留他的章奏，他越加觉得惶恐不安。
太平兴国三年，钱俶再次入朝，恰逢陈洪进被迫纳土。他越发忐忑不安，上表要求免去所封的吴越国王和书诏不名的待遇，允许他回国，宋太宗没有答应。随从的崔仁冀对钱俶说：“现在去国千里，尽在他人掌握之中，只有插翅才能飞去！”钱俶迫不得已也只得重蹈陈洪进的覆辙，上表献上了吴越国的十三州一军八十六县，南方的割据局面至此结束。
据说，这次钱俶入朝，臣民都知道他将有去无回，造了保俶塔祝愿他能平安回来。然而钱俶不仅没能南归，连做大梁布衣寿终正寝的权利都没有，他的死也是疑窦丛生的。雍熙四年（987年），钱俶得病家居，有一个叫赵海的宦官夜访其宅，拿出一粒药说是太宗所赐。他服下后，家人都惶惶不可终日。几天后，钱俶向太宗说了这事，太宗居然大惊，逮捕了赵海，决杖流配沙门岛，似乎他从来不知这件事。但赵海敢于假传圣旨，显然是令人怀疑的。其后，钱俶的病一直未好过。次年八月他生日那天，太宗遣使赐宴，当晚他就暴死，结局与李煜相去不远。
建立北汉的是后汉高祖刘知远之弟刘旻，后周代汉以后，他就割据太原称帝，仍以汉为国号，史称北汉。北汉虽局处一隅，军队却十分强悍，且与契丹成犄角呼应之势，地势又易守难攻，成为宋朝统一最难嗑的硬核桃。太祖虽实行先南后北的战略，却始终关注着北汉的动态。
开宝元年（968年）八月，北汉第二代国君刘钧病死，在王位传承上引起了政局动荡，太祖认为有机可乘，就派李继勋、党进和曹彬率军北伐。北汉派名将刘继业（即杨业）抵抗，同时向辽朝求救。宋军直逼太原城下，太祖传诏北汉新国主刘继元投降，遭到拒绝。在契丹诸道驰援的情势下，李继勋惟恐腹背受敌，只得撤兵。
太祖心有不甘，次年二月御驾亲征。他一方面命各州调运粮饷到河东战场，一方面派兵扼守契丹可能驰援的军事重镇。大军抵达太原城下，太祖筑长围攻城，但城坚难下，于是决汾河水灌城，城中虽然恐慌，但仍顽抗。太原城久攻不下，而契丹的援军虽然受挫，依旧在北边造成很大的压力。时已炎夏五月，淫雨连绵，宋军中疫病流行，太祖只得被迫撤兵。宋军撤退以后，太原城排除积水，大段城墙圮坏倒塌，辽朝使者见状大为赵匡胤惋惜，说：“宋军倘若先浸而后涸，太原城就易手了。”
南唐灭亡以后，南方的统一已大势明朗，次年秋天，太祖命令党进、郭进和潘美等兵分五路第三次伐汉，希望由自己来砸碎这颗硬核桃。但不久他即突然去世，把问题留给了太宗。太祖虽未平定北汉，但三次北征，已大大消耗了北汉的实力，在第二次北征以后，还把北汉境内的居民大量迁徙到内地，使其只剩下一个地荒民寡的空壳子。
太平兴国四年，太宗见政权初步巩固，便急切地企图通过攻灭北汉来实现太祖不能完成的功业，以提高自己的地位和威望。正月，他任命潘美为北路都招讨使，分四路攻打太原城；同时命郭进为石岭关都部署，以阻击契丹援兵。
二月，太宗御驾亲征，所遣兵马在十万以上。三月，郭进在石岭关（今山西太原北）南截击来援的辽军，辽军死伤严重，所幸耶律斜轸的后续部队赶到，才遏住宋军的攻势，得以退兵。另一方面，潘美指挥宋朝大军围困太原城，自春至夏，昼夜攻打，矢石如雨。
四月，太宗抵达城下，督诸将攻城越急，太原城几乎城无完堞，城头箭集如猬。城破在即，太宗传诏北汉主速降。刘继元见大势已去，亲信逃亡，只得出降。宋得十州一军四十一县，五代分裂局面至此宣告结束。
以中原王朝的传统眼光看来，这也可以说是海内一统了。但从大历史的角度看问题，海内一家的范围也在扩大，而与宋对峙的辽夏金政权也和前代旋仆旋起的柔然、突厥有所不同，作为一个稳定的政权实体，他们也加入到融天下为一家的历史过程中来了。而在这一融合过程中既有和平相处的乐章，也有兵戎相见的血污。北汉刚平定，宋辽之间就形成了唯一直接的对峙，如何应对这一局面成为宋太宗的当务之急。