天福十二年五月初一，耶律兀欲召请赵延寿及张砺、和凝、李崧、冯道等人到自己的馆舍饮酒。兀欲的妻子素来以兄长事奉赵延寿，兀欲就从容地对赵延寿说道：“妹妹远从契丹来，难道不想见见她吗？”赵延寿欣然和他一起走入后堂。过了许久，兀欲出来，对张砺等人说道：“燕王蓄谋反叛，刚才已经把他锁起来了。”又说道：“先帝在大梁时，留给我一个计划，允许我主持南朝军国大事。近日驾崩，没有其他遗诏。而燕王擅自主持南朝军国大事，岂有此理！”下令道：“赵延寿的亲友朋党，全都开释不予查问。”隔了一天，兀欲到待贤馆接受蕃、汉官员的拜贺，笑着对张砺等人说道：“燕王如果真的在这里行这种礼仪，我就将用铁甲骑兵包围此地，诸位也就难免遭殃了。”
几天以后，集中蕃、汉大臣到恒州府衙，宣读契丹主的遗诏。遗诏大略说：“康王，是大圣皇帝的嫡长孙，是人皇王的长子，太后所钟爱，群情所归，可以在中京即皇帝位。”于是开始为先帝举哀，穿起丧服。然后又换上吉服接见群臣，不再行丧礼，歌声乐声在署内响个不停。
刘知远召集群臣商议进军路线。众将领都建议从井陉出兵，攻取镇、魏二州，先平定河北，河南就会自己拱手称臣。刘知远想从石会出兵，进军上党。郭威说道：“契丹耶律德光虽然死了，可是党羽部众还很强盛，他们各自占据坚固的城池。我们出兵河北，士兵缺少，道路迂回，又没有接应救援。如果这些胡虏联合攻击我军，那么我军前进则受阻击，后退则受拦截。运粮道路也会断绝，这是条危险的道路。上党的山路艰险难走，沿路粮少民穷，没有供给，也不能走。近来陕、晋二镇相继向我们投诚归附，如果率兵从这里走，才是万无一失。不出二十天，洛阳、大梁便可平定了。”刘知远大喜说道：“爱卿所说极是。”
苏逢吉等人说道：“史弘肇的大军已驻札在上党，胡虏们相继逃跑，不如从天井出兵，奔赴孟津最为便捷。”司天官上奏道：“太岁星在午的方位，不利于南行。应该从晋、绛二州进军到达陕州。”刘知远听从了这种意见。刘知远即诏令十二日发兵，通知各道。
刘知远任命太原尹刘崇为北京留守，赵州刺史李存環为副留守，河东幕僚李骧为少尹，牙将蔚进为马步指挥使来辅助他们。刘知远亲自率部从太原起兵，开往晋、绛二州。
史弘肇进攻泽州，刺史翟令奇死守城池，久攻不下。刘知远认为是因为史弘肇兵少，便想召回撤兵。苏逢吉、杨邠说道：“现在陕、晋、河阳都已归顺我朝，崔廷勋、耿崇美早晚要逃跑。如果召回史弘肇，那么河南就会人心动摇，而胡虏的气焰会再度嚣张起来。”
后汉高祖刘知远难以决定，就派人将此事告诉史弘肇。史弘肇说道：“军队已到达此地，就像势如破竹，只能前进而不能后退。”与苏逢吉等人的建议相吻合，刘知远于是就听从了他们意见。史弘肇派部将李万超前去劝说崔令奇。崔令奇归降，史弘肇命李万超代理主持泽州事务。
崔廷勋、耿崇美、奚王拽刺联兵逼近河阳城，张遇率领几千人马前往救援，在南阪展开战斗，战败而死。武行德从河阳城中出来助战，也被打败，退回城中闭门自守。拽刺想要攻城，崔廷勋说到：“现在契丹的军队已向北撤退了，得到这座城池有什么用！而且杀死一个人还觉得可惜，更何况毁灭一个城呢！”听说史弘肇已取得泽州，于是就放弃河阳，退守怀州。
史弘肇军队临近泽州，崔廷勋等人率领众军向北逃走，路过卫州，大肆抢掠而离去。契丹在河南的军队相继逃往北方。史弘肇领兵和武行德会合。史弘肇为人稳重坚毅、沉默寡言，统领军队，号令严明、军纪整肃，将领稍不服从命令，立刻诛杀。士兵经过之地，凡侵犯百姓田地或者在树上系马的，一律斩首。因此军中人人小心谨慎，不敢违犯军令，所以所向无敌、攻无不克。
刘知远从太原一路南下，平安进入洛阳和大梁，士兵的刀枪没沾过血，都是靠了史弘肇之力。刘知远从此更加倚重、喜爱他了。刘知远到达霍邑，派使臣招谕河中节度使赵匡赞，并把契丹囚禁他父亲赵延寿的事告诉他。
刘知远即位后，绛州刺史李从朗和契丹将军成霸卿等人抗拒诏命。刘知远派西南面招讨使、护国节度使白文珂攻打他们，未能攻克。刘知远亲自来到城下，命令各部四面围住但不攻城，向李从朗等人晓以利害，劝谕归降。李从朗见状，自知不能久守，只得开城投降。刘知远命令亲将分守各门，士卒一人也不许入城；命偏将薛琼为防御使。