金朝灭亡之后，蒙古与南宋之间的缓冲地带已不存在，形成了直接的对立。一开始，南宋的如意算盘是占据黄河和潼关以抵挡蒙古铁骑的南下，谁知刚占据开封和洛阳不久，宋军就被前来争夺的蒙古军队打败，只好撤退。从此以后，在江淮河汉之间，在四川等地，蒙古对南宋展开了全面的进攻。
蒙古军队在对南宋作战的初期，并不太顺利，于是决定采用战略大迂回的战术，先征吐蕃（今青海东部等地），再攻大理（今云南等地），然后包抄南宋。1252年6月，忽必烈率军南征大理。蒙古铁骑由北向南，不到半年时间就从今甘肃经青海、四川到达云南，先后越过了大渡河、大雪山、金沙江等险绝之地，完成了中国古代军事史上罕见的万里远征创举。
第二年初，大理国灭亡，吐蕃也表示臣服，整个西南地区被蒙古军队控制，形成了对南宋王朝从南北两面夹攻的形势。1253年底，忽必烈留大将兀良合台镇守，自己返回北方。
南征的胜利和治理中原的成绩显示了忽必烈杰出的文治武功，他的声望在汉族地主阶级中日渐上升，许多豪强士绅纷纷靠拢忽必烈，表示愿意接受他的统治。忽必烈的周围聚集了一大批汉族文武人才，如刘秉忠、许衡、姚枢等文士，李璮、史天倪、张柔等武将。这些都为他进一步统治中原奠定了深厚的基础。
但是，忽必烈采用汉法治理中原却损害了蒙古贵族和西域商人的利益，他的声望之大也影响到了蒙哥的威信和皇权。经一些人的挑拨，蒙哥对忽必烈产生了猜忌，下令解除了忽必烈的兵权并派人调查他，形势十分危急。关键时刻，忽必烈接受了姚枢的建议，不正面抗争，并且将妻子儿女送作人质，表明自己并无异图，并亲自去向蒙哥当面解释。最终，蒙哥消除了疑虑，兄弟和好如初，忽必烈又重新掌握了兵权。
1258年，蒙古大军兵分三路全面征伐南宋。蒙哥亲率一支大军主攻长江上游的战略要冲重庆，另有一路军在其东面配合；忽必烈大军从华北平原南下直攻鄂州（今湖北武昌），南面有兀良合台的大军北上配合。蒙哥和忽必烈的大军像两把钢刀砍向南宋长江防线的腰部。
蒙古铁骑的几路大军，烧杀掠抢，来势汹汹，却受到南宋军民的顽强阻击。蒙哥率领的主力部队在四川进展极慢，包围了钓鱼城（今重庆合川东）半年多，却屡攻不克；蒙哥自己也身受重伤，1259年死于军中。
忽必烈在围攻鄂州时得知蒙哥死讯，同时又听说留守都城的弟弟阿里不哥正准备继承汗位，便要回军与阿里不哥争夺大汗宝座。正好，这时南宋宰相贾似道请求割地赔款求和，忽必烈便顺水推舟，订下和约，然后迅速率军北返。
1260年3月，忽必烈在开平（今内蒙古多伦西北）召集部分王公大臣集会，在他们的拥护下，他抢先登上大汗之位。随后，阿里不哥在另一些王公大臣的拥戴下也宣布继承蒙哥的汗位。这样，大蒙古国同时有两个可汗，他们既是亲兄弟，又互相对立，并各有一部分皇族大臣的拥护，这事讲理是讲不清的，只有靠武力来解决了。经过4年的内战，忽必烈大获全胜，众叛亲离、走投无路的阿里不哥只好率残部到开平投降。
忽必烈与阿里不哥之争，是蒙古贵族统治集团内部的斗争，成吉思汗的后裔大多都被卷了进去。忽必烈由于掌握了中原地区的人力、物力和财力，得到汉族地主阶级的大力支持，而获得了全胜，并因此奠定了元朝建立和巩固的基础。