忽必烈终于登上了蒙古帝国的汗位，可是，他是第一个没有经过忽里台大会选举的大汗，因此，从蒙古的传统习惯上讲，合法性就有问题。
正因为忽必烈打破了草原上过去的传统，使蒙古帝国真正走向分裂。因此有人指出，从这个意义上讲，他是蒙古帝国的罪人。
忽必烈在汉地采用汉法，重用汉人，很多保守的草原贵族，一点都不喜欢他。钩考局事件，阿蓝答儿等人得罪了忽必烈，他们知道，如果忽必烈即位，肯定没有他们什么好果子吃，于是就按草原的习惯，准备推举阿里不哥即汗位。
“至是，阿蓝答儿恐世祖追论其罪，乃与浑都海、脱火思、脱里赤等谋立阿里不哥。”
忽必烈于中统元年（1260年）三月即帝位，同年四月，阿里不哥也于和林称汗。阿里不哥之所以没有马上即汗位，其实更多的是因为他准备按蒙古的传统，召开忽里台大会后再进行。由此也可以看出，是老忽违规在先。
蒙哥即位，杀了很多蒙古功勋，这些人的后代或亲人肯定心怀怨恨，窝阔台系和察合台系也同样心怀不满，于是，推波助澜的、把水搅混的就大有人在。由于老忽显得更精明，在他的手下怕是不太好混，所以很多蒙古贵族都拥护阿里不哥。
“太宗后王海都，宪宗后王阿速带、玉龙答失、昔里吉，察合台后王阿鲁忽，曲里坚子阿而喀台，旭烈兀子出木哈儿等及拔都母库托克台可敦皆附之。”
窝阔台的孙子海都，就是这个时候参与进来反对老忽的，而且他一参与，就矢志不渝地干了一生。察合台的后人、蒙哥的儿子们也多反对忽必烈，这应该算正常，但连和他关系非常好的旭烈兀的儿子、以及拔都家的老太太都反对他，老忽做人做的好象是不咋地。
忽必烈和阿里不哥之间的汗位之争，持续了五年，一直到了至元元年（1265年），他才迫使阿里不哥投降。
（阿里不哥）至元元年正月，遣使乞降。帝预敕近边，和籴以饷其众。秋七月庚子，阿里不哥与玉龙答失、阿速带、昔里吉至京师，入谒。帝熟视无言，既而哭，阿里不哥亦哭。帝曰：“试据理言之，我兄弟二人孰应嗣大位。”阿里不哥曰：“昔日我为是，今日汗为是耳。”
老忽也的确不地道，这个哭，太像猫哭耗子。人家都投降了，他还强人所难地问：你说究竟应当谁当大汗？阿里不哥比不上刘阿斗会装傻，来了个实话实说：以前应当是我，现在只能是大汗你了。这不是找不自在吗？
两年后，至元三年，阿里不哥卒于大都。到底他是因为什么死的，就只有天知道了。但忽必烈的行为，使得蒙古帝国的分裂，从台下走向表面。同时，他也给他的对手们，留下了叛乱的借口，这个麻烦，到他死，都没有解决。只要有人挑个头，草原上立刻就有大批的人起来造反，每次都如此。
蒙哥的儿子昔里吉，先跟从阿里不哥投降，老忽原谅了他。但在至元十三年(1276年)秋天，忽必烈灭宋的关键时刻又开始造反，草原上立刻又狼烟四起，差点就让他的灭宋大计泡汤。
但忽必烈即位，的确儒生们起了很大作用，他的另一个汉臣商挺，在这个过程中也曾给了他重要的提示。
宪宗崩，世祖北还。道遣张文谦与挺计事。挺曰：“军中当严符言，以防奸伪。”文谦急追及言之，世祖大悟，骂曰：“无一人为我言此，非商孟卿，凡败大事。”速遣使至军中立约。至是阿里不哥之使至军中，执而斩之。
这确实很重要，因为这避免了忽必烈的军权被夺。在开平，廉希宪、商挺等人，更力劝老忽：“先发制人，后发人制，逆顺安危，间不容发，宜早定大计。”
等到了忽必烈即位，“阿里不哥叛，征柔入卫，至卢朐河，复止之。分其兵三千五百人卫京师，以子宏庆为质子。”
老忽心里有鬼，连蒙古军都有点不敢完全信任了，竟然还要汉军来保驾。由此也可以看出，张家这时在他心目中的地位，已经变得很重要。完全可以说，这个时候，他和汉臣、儒生处于蜜月期。可是，好花不常开，好景不常在。
忽必烈因蒙古贵族对他的不满，登汗位之初，处境是极为艰难的。一边是和阿里不哥的汗位之争，另一边内政也急需进行整顿。而南面，还有一个宋帝国。
开庆之役，严格来说，蒙古帝国的全面进攻是失败的，元史说是什么“杀伤甚众”、“所向克捷”，但实际是宋军给予了蒙古军队以沉重打击。
在鄂州，“庚戌，围城。帝谓张柔曰：‘吾犹猎者，不能禽圈中豕野猎以供汝食，汝破圈取之可也。’柔作鹅车洞火其城，别遣勇士先登，城垂克。会宋将高达来援，引兵入，复坚守不下。”
事实是什么？攻城没攻下，败了。