宋朝虽然已经建立起来，但是原先各地的一些割据势力仍还存在。当时除契丹建立的辽国以外，五代时期的十国，北方有占据太原的北汉，南方有南唐、吴越、后蜀、南汉、南平(荆南)等国。在湖南等地，也有人割据。
宋太祖稳定了内部以后，开始考虑怎样消灭这些割据势力。究竟先解决北方呢，还是先解决南方?宋太祖日夜盘算这个问题。他想先南后北，但一时拿不定主意。
一天，风雪交加，眼看天色已晚，鹅毛大雪还下个不停，宋太祖顾不得下雪，去赵普家中，跟赵普商议这桩大事。他跑到赵府门口，敲起门来。
赵普开门一看，只见宋太祖正立在风雪之中。赵普惶恐不安，连忙拜了下去，请他进门。宋太祖到了厅堂，赵普命人烧红炭火，在火上烧肉，同时让妻子出来倒酒招待。
宋太祖说：“大嫂，不必客气。”饮过数杯以后，宋太祖故意试探地说：“我想削平诸国，先出兵太原，你看怎样?”
对这问题，赵普也早有考虑。他说：“北汉的西北，就是辽国。如果我们攻下太原，就会受到辽国的威胁。我看不如先削平南方诸国，再去对付北汉。那时候，像弹子那么大的一个北汉，能向哪里逃呢?”
宋太祖大笑说：“其实我正是这个主意，刚才不过故意试探一下你的意见罢了。”赵普也跟着笑了起来。两人再商议了一番，宋太祖先南后北的方针终于确定下来了。
接着，宋太祖就用武力陆续平定了南平、后蜀、南汉。南方诸国已经只剩下南唐和吴越了。南唐是江南的一个大国，但又是一个弱国。宋朝建立后，南唐国主唐元宗李璟自知不是宋朝的对手，便向宋朝屈服，派使臣送金银财宝前去，祝贺宋太祖即位。
公元961年，唐元宗死了，他的儿子李煜(yù)继位，这就是南唐后主，人们称他为李后主。李后主是我国历史上有名的大词人。他爱好文学，懂得音律，书法绘画也很出色，尤其擅长写词，但不大过问政事，并且爱听奉承阿谀的话。
他上了台，不敢得罪宋朝，仍每年送去大量金银财宝，甚至宋朝向别国出兵，他也进贡财物，犒劳宋军。宋朝灭掉南汉以后，他恐慌万分，又向宋朝上书，主动削去南唐国号，自称江南国主。尽管李后主想尽办法，委曲求全，可是宋太祖怎会容忍这个政权长期割据下去呢!
公元974年九月，宋太祖命大将曹彬、潘美带领十万大军，攻打南唐。宋朝早在荆南造了几千艘战船。曹彬率领水军，从江陵沿长江顺流东下，不断打败南唐守军，很快打到了采石矶(今安徽马鞍山)。潘美率领步军，也赶到了采石矶。
当时，有个叫樊若水的读书人，建议宋军用大船和竹筏搭浮桥渡江。宋军采用这个建议，只花三天工夫，就搭了一座浮桥。有人把这事告诉了李后主。李后主不知道该怎样对付，问身旁的一个大臣。那个大臣回答说：“自有书籍记载下来，从未听说长江上可以搭桥的事情。”
李后主放下心来，高兴地说：“我也认为这不过是一场儿戏。”宋军渡过长江，很快打到金陵(今江苏南京)城下。李后主还不知道。
一天，他登城一看，只见城外宋军旌旗遍野，才知道大事不好。他连忙派大臣徐铉去东京，要求宋朝退兵。徐铉到了东京，有人对宋太祖说：“徐铉学识渊博，口才很好，要好好对付。”
宋太祖笑着说：“我自有办法。”第二天，徐铉进了朝堂，仰起头来，大声说：“李煜没有罪，陛下师出无名。”宋太祖让他讲一讲他的理由。
徐铉说：“李煜以小国侍奉大国，好像儿子侍奉父亲一般，没有什么过失，宋朝为什么要讨伐他?”徐铉讲了好久，宋太祖反问他一句说：“你既然说像父子一般，难道父子可以分成两家吗?”徐铉被问得哑口无言，灰溜溜地回去了。
过了一个月，徐铉奉了李后主的命，又去东京见宋太祖，恳求退兵。
宋太祖手按利剑，大怒说：“不须多言!江南没有什么罪，但天下一家，我的卧榻旁边，哪里容得他人鼾睡(文：‘卧榻之侧，岂容他人酣睡’)!”徐铉吓得不敢再讲，只得回去复命了。
李后主求和不成，赶快调驻守上江的十五万大军救援金陵。援军到了皖口，遭宋兵夹攻。南唐军想放火烧宋军，不料突然刮起北风，大火反烧向自己，援军主帅急得投火而死。南唐最后一支大军覆没了。宋军很快攻进金陵。李后主投降宋朝，做了亡国奴。
李后主被押到东京，宋太祖封他为违命侯，他实际上已成了一个囚徒。逍遥放纵的帝王生活结束了，他不得不经受被侮辱的痛苦，每天眼泪汪汪地过日子，心里非常哀怨凄伤。在这期间，他写了好些表现悲愁情绪的词篇。他擅长抒情，善用比喻，他的词写得很真切，如“问君能有几多愁?恰似一江春水向东流”，已成为被人传诵的名句。后来，李后主被宋太宗用药毒死了。