天福十二年五月初一，耶律兀欲召请赵延寿及张砺、和凝、李崧、冯道等人到自己的馆舍饮酒。兀欲的妻子素来以兄长事奉赵延寿，兀欲就从容地对赵延寿说道：“妹妹远从契丹来，难道不想见见她吗？”赵延寿欣然和他一起走入后堂。过了许久，兀欲出来，对张砺等人说道：“燕王蓄谋反叛，刚才已经把他锁起来了。”又说道：“先帝在大梁时，留给我一个计划，允许我主持南朝军国大事。近日驾崩，没有其他遗诏。而燕王擅自主持南朝军国大事，岂有此理！”下令道：“赵延寿的亲友朋党，全都开释不予查问。”隔了一天，兀欲到待贤馆接受蕃、汉官员的拜贺，笑着对张砺等人说道：“燕王如果真的在这里行这种礼仪，我就将用铁甲骑兵包围此地，诸位也就难免遭殃了。”
几天以后，集中蕃、汉大臣到恒州府衙，宣读契丹主的遗诏。遗诏大略说：“康王，是大圣皇帝的嫡长孙，是人皇王的长子，太后所钟爱，群情所归，可以在中京即皇帝位。”于是开始为先帝举哀，穿起丧服。然后又换上吉服接见群臣，不再行丧礼，歌声乐声在署内响个不停。
刘知远召集群臣商议进军路线。众将领都建议从井陉出兵，攻取镇、魏二州，先平定河北，河南就会自己拱手称臣。刘知远想从石会出兵，进军上党。郭威说道：“契丹耶律德光虽然死了，可是党羽部众还很强盛，他们各自占据坚固的城池。我们出兵河北，士兵缺少，道路迂回，又没有接应救援。如果这些胡虏联合攻击我军，那么我军前进则受阻击，后退则受拦截。运粮道路也会断绝，这是条危险的道路。上党的山路艰险难走，沿路粮少民穷，没有供给，也不能走。近来陕、晋二镇相继向我们投诚归附，如果率兵从这里走，才是万无一失。不出二十天，洛阳、大梁便可平定了。”刘知远大喜说道：“爱卿所说极是。”
苏逢吉等人说道：“史弘肇的大军已驻札在上党，胡虏们相继逃跑，不如从天井出兵，奔赴孟津最为便捷。”司天官上奏道：“太岁星在午的方位，不利于南行。应该从晋、绛二州进军到达陕州。”刘知远听从了这种意见。刘知远即诏令十二日发兵，通知各道。
刘知远任命太原尹刘崇为北京留守，赵州刺史李存環为副留守，河东幕僚李骧为少尹，牙将蔚进为马步指挥使来辅助他们。刘知远亲自率部从太原起兵，开往晋、绛二州。
史弘肇进攻泽州，刺史翟令奇死守城池，久攻不下。刘知远认为是因为史弘肇兵少，便想召回撤兵。苏逢吉、杨邠说道：“现在陕、晋、河阳都已归顺我朝，崔廷勋、耿崇美早晚要逃跑。如果召回史弘肇，那么河南就会人心动摇，而胡虏的气焰会再度嚣张起来。”
后汉高祖刘知远难以决定，就派人将此事告诉史弘肇。史弘肇说道：“军队已到达此地，就像势如破竹，只能前进而不能后退。”与苏逢吉等人的建议相吻合，刘知远于是就听从了他们意见。史弘肇派部将李万超前去劝说崔令奇。崔令奇归降，史弘肇命李万超代理主持泽州事务。
崔廷勋、耿崇美、奚王拽刺联兵逼近河阳城，张遇率领几千人马前往救援，在南阪展开战斗，战败而死。武行德从河阳城中出来助战，也被打败，退回城中闭门自守。拽刺想要攻城，崔廷勋说到：“现在契丹的军队已向北撤退了，得到这座城池有什么用！而且杀死一个人还觉得可惜，更何况毁灭一个城呢！”听说史弘肇已取得泽州，于是就放弃河阳，退守怀州。
史弘肇军队临近泽州，崔廷勋等人率领众军向北逃走，路过卫州，大肆抢掠而离去。契丹在河南的军队相继逃往北方。史弘肇领兵和武行德会合。史弘肇为人稳重坚毅、沉默寡言，统领军队，号令严明、军纪整肃，将领稍不服从命令，立刻诛杀。士兵经过之地，凡侵犯百姓田地或者在树上系马的，一律斩首。因此军中人人小心谨慎，不敢违犯军令，所以所向无敌、攻无不克。
刘知远从太原一路南下，平安进入洛阳和大梁，士兵的刀枪没沾过血，都是靠了史弘肇之力。刘知远从此更加倚重、喜爱他了。刘知远到达霍邑，派使臣招谕河中节度使赵匡赞，并把契丹囚禁他父亲赵延寿的事告诉他。
刘知远即位后，绛州刺史李从朗和契丹将军成霸卿等人抗拒诏命。刘知远派西南面招讨使、护国节度使白文珂攻打他们，未能攻克。刘知远亲自来到城下，命令各部四面围住但不攻城，向李从朗等人晓以利害，劝谕归降。李从朗见状，自知不能久守，只得开城投降。刘知远命令亲将分守各门，士卒一人也不许入城；命偏将薛琼为防御使。
刘知远到达陕州，赵晖亲自牵皇帝的马进城。第二天，抵达石壕，有不少大梁百姓远来迎接。随后，刘知远到达新安，西京留守各司的官员都来迎接。次日刘知远来到洛阳，进入并居住宫中。大梁的文武百官奉上表章前来迎接。
刘知远下诏让那些接受契丹任命按排的人不要有什么疑虑，将任命文告状牒收集起来烧掉。刘知远令郑州防御使郭从义先入大梁，清理内宫，密令杀死李从益和王淑妃。淑妃临死前说道：“我儿子是被契丹人立为皇帝的，有什么罪而以至于死！为什么不能留下他一个，让每年的寒食节有一盂麦饭洒在明宗陵前呢！”听到的人都流下眼泪。
刘知远从洛阳出发，枢密院的官吏魏仁浦从契丹逃回，在巩县叩见刘知远。郭威问契丹的兵力和故事，魏仁浦为人精细敏捷、博闻强记，郭威从此亲近重用他。
汴州的窦贞固等文武百官在荥阳迎接刘知远。刘知远到达大梁之后，后晋的各地藩镇相继归降。刘知远下诏实行大赦，凡是契丹所委任的节度使，下至将领官吏，各自安于职守，不再变更。又把汴州改为为东京，改国号为汉，年号仍称天福，他说：“我不忍忘却晋呵！”并恢复青、襄、汝三州的节度使。任命留守刘崇为河东节度使、同平章事。
刘知远制令兴建宗庙，太祖高皇帝刘邦、世祖光武皇帝刘秀，都百代不迁。又建高祖、曾祖、祖、考四座亲庙，追尊谥号，共六座庙。有人传说赵延寿已经死了，郭威即对刘知远说道：“赵延寿的儿子赵匡赞是契丹任命的，现在还留在河中。我们应派遣使者前往吊唁祭祀，从而起用他，并调换镇所。他已无家无国可归，如此一来，他一定会感恩戴德听从陛下的诏命。”刘知远听从他的建议。
邺都留守、天雄节度使兼中书令杜重威、天平节度使兼侍中李守贞都奉上表章前来归顺。杜重威请求调到其他藩镇。归德节度使兼中书令高行周前来朝觐。刘知远即调杜重威为归德节度使，命高行周代替他原来的职位；又命李守贞为护国节度使，加官兼中书令；调护国节度使赵匡赞为晋昌节度使。
杜重威投靠契丹、背叛中原，心里常常疑惧。等到调任归德节度使的制令下达，他又拒不接受。他派自己的儿子杜弘到麻答处作人质，以换取契丹的援兵。当时，赵延寿有二千名幽州亲兵驻扎在恒州，由指挥使张琏率领。杜重威请契丹派他们来帮助自己固守魏州。麻答派大将杨衮率契丹一千五百人和幽州兵马前往。
刘知远即诏令削去杜重威的官职爵位，并派高行周为招讨使，镇宁节度使慕容彦超为副招讨使，出兵讨伐杜重威。
正好高行周、慕容彦超到邺都共同讨伐杜重威。慕容彦超想要加紧攻城，而高行周想放慢进攻来等待敌人的漏洞。由于高行周女儿是杜重威的儿媳，慕容彦超即扬言说道：“高行周因为他女儿的缘故，爱护敌人而不立刻发动进攻。”从此两将不和。
刘知远怕生出其他变故，就想亲自去攻打杜重威。但一时之间，犹豫不决。这时，李涛上疏请皇帝御驾亲征。刘知远大为高兴，认为李涛有宰相才器。苏逢吉加官为左仆射兼门下侍郎、苏禹加官为右仆射兼中书侍郎，窦贞固加官为司空兼门下侍郎，李涛加官为户部尚书兼中书侍郎，都为同平章事。