此时，吕蒙正又被罢相，用参政吕端继任。吕端的父亲吕琦曾任后晋的兵部侍郎，他少年时，聪敏好学，以其父的官位荫补千牛备身。赵匡胤篡位，吕端任太常丞、知浚仪县，同判定州。西上阁门使郝崇信出使契丹的时候，朝廷授吕端为太常少卿，担任副使。吕端为政清廉俭约，远方之人得以安宁。
赵光义亲征北汉的时候，赵廷美受命留守开封，吕端劝说赵廷美随军，赵廷美于是向赵光义恳请随行。不久，吕端因向人说情，被贬商州司户参军。其后任知蔡州，因政绩良好，被官民上奏请求借留一任。
许王赵元僖任开封尹，吕端担任判官。赵元僖去世，有人告发他被爱妾张氏迷惑，做了很多不法之事。吕端因辅助有失，被贬为卫尉少卿。不久，被恢复旧职，又任枢密直学士。一个月后，出任参知政事，成为副相。
吕端历任朝内外官职，虽然并没有重大建树，但他沉稳、镇静、有器量、识大体的吏治才干，已日渐为人所知。宰相赵普就曾称赞吕端说道：“我见吕公奏事，得到皇上的嘉许，看不见他显出得意；受到别人的挫抑也看不见他显出沮丧或恐惧。他喜怒不形于言色。真是做宰相的人才啊！”
后来，左谏议大夫寇准也升为参知政事。吕端请求让自己位居寇准之下，赵光义马上授吕端为左谏议大夫，位在寇准之上。太宗宠待吕端，常常单独在偏殿召见吕端，讨论许久。之后，吕端升任户部侍郎、平章事。