诸葛亮受张武委托建设建业城以作为防御江北曹军的军事重镇，和攻取淮南地区的桥头堡，建成之后诸葛亮以车骑将军府左军师将军的身份统兵驻屯，有大将赵云、丁奉、吕蒙等辅佐。
原本建业城有一万步兵和一万水兵驻扎，后来又招募了一万丹阳兵。
建安十五年深秋，甘宁率一万水军和蒋钦、朱桓二将自江陵出发，中途汇合了驻守柴桑的文聘和两万水军，大军共计三万来到建业城，要对江北采取军事行动以呼应葭萌关战场。
曹操当初趁张武灭孙权之时，出兵抢占了原江东与淮南之间的缓冲地带，之后设立了庐江郡和九江郡。庐江郡的郡治在皖城，郡守为朱光，原庐江郡太守雷绪调任九江太守，治所为寿春。
但是曹操在淮南的主要防守重镇还是合肥，大将张辽、李典和乐进也率两万大军驻扎在合肥。
诸葛亮召集众人开会，讨论作战计划。
吕蒙献计道：“现今曹操令庐江太守朱光屯兵于皖城，开垦稻田，纳谷于合肥，以充军实。今可先攻取皖城，再攻打合肥。”
诸葛亮也赞同先打皖城，然后再打合肥。