杨师远毕竟出身草莽，哪里懂得治理一方，同时又没有什么特别的军事才能。他虽然占据衡州了三年多，却天天花天酒地，安于享受。这个也可以理解，他从一个山野默默无闻之辈，突然成了一方诸侯，难免会有飘飘然之感。
杨师远随即大力提拔家族中人，担任各级官吏，掌管军队。但是这些吃喝玩乐的本领不错，治军理政的能力全无。虽然杨师远也募集了近万人马，却没有经过什么严格的训练。军中更无名将，分别由他的几个弟弟带领分别驻守各个要地。杨师远得知马殷分兵两路来攻打衡州，自然是大惊失色，连忙召集几个弟弟议事。
杨师远说道：“潭州兵分两路而来，我们应该如何应对？”他的弟弟们却面面相觑，默不出声。要是让他们带兵去对付山野毛贼，他们或许能胜任。但要他们去对抗身经百战，从中原转战千里而来的武安军，确实是有些难为他们。他的二弟杨学远，也就是衡州都指挥使，说道：“武安军骁勇善战，邓处讷、蒋勋先后败亡。我们不能正面迎战，不如依托地势，坚守不出，谅他们也无能为力。”
杨师远的三弟杨慕远，也就是衡州副指挥使，毕竟年轻气盛，武艺不弱，对二哥的怯敌之态大为不满，气呼呼的说道：“二哥也太长他人志气，灭自己威风。我就不相信他们有三头六臂，大哥，小弟愿意带一只人马北上迎战。小弟不仅要大败来军，还要夺下潭州献给大哥。”
杨师远一则知道死守不是良策。蒋勋就是由死守变成了守死，蒋勋毕竟和马殷有姻亲关系，勉强保全性命，成为了高级囚徒。自己的结果恐怕就是想做囚徒也不可能，同时又被杨慕远豪迈的言语激发了斗志，当即说道：“三弟说的是。我们可以派人去向永州、郴州求救。告诉他们唇寒齿亡的道理，请他们出兵相助。二弟，你率部去迎战北面的潭州兵。三弟，你率部去迎战西面的潭州兵。”
杨学远见大哥主意打定，知道这个时候劝也没有用，只得闭口不言。随后杨学远领兵三千，北上迎战秦彦晖这路武安军。杨慕远则带兵三千，西出迎战李琼。杨师远自己带着剩下的四千人马守卫衡州城，同时派出使者去永州、郴州求援。
杨慕远率军西行数日后，就和李唐的两千先锋部队遭遇。杨慕远厉声喝道：“来者何人？为何无故侵入我州？”李唐上前答道：“我是武安军马大帅麾下先锋大将李唐。你们不听号令，特来问罪。你又是何人？”杨慕远答道：“我是衡州刺史的三弟杨慕远，你们快快退回，否则叫你们丧命于此。”李唐哈哈大笑数声，说道：“井底之蛙，竟敢口出狂言。我倒是要劝你立刻下马投降，否则让你尸骨无存！”
杨慕远勃然大怒，又见李唐兵马不多，当即挥军掩杀过来。他打算以多欺少，以众击寡，速战速决。李唐久经沙场，不慌不忙列阵相迎，并派人知会后面不远的李琼。李唐和杨慕远两军，展开混战。衡州兵优势在人多，潭州兵却经验丰富，战力强悍。两军厮杀了一个多时辰，难分胜负。
杨慕远见状，亲自挥刀跃马，冲杀过来。这边李唐催马挺枪，迎住杨慕远。两人大战十余回合，难分伯仲。正在双方鏖战之际，李琼率领五千主力赶到。李琼一声令下，全军出动，把衡州兵包围了起来。局面瞬间扭转，本来以多欺少的衡州兵，现在被优势兵力的李琼所部反包围在中间。
衡州兵毕竟没有经历过恶战。战事顺利的话，他们还有些战意和战力。但一旦陷入不利局面，这些士卒顿生退意。那杨慕远正在和李唐鏖战，突然见敌军增多，心生怯意。他这一分神，李唐抓住机会，一枪把杨慕远挑落马下。
李琼见李唐得手，随即大声喝道：“你们主将已死，还不放下兵器投降？”衡州兵一见杨慕远被杀，顿时斗志全消，纷纷抛下兵刃，跪地投降。李琼把这些降兵分散编入各营，继续向衡州进军。数日后，大军兵临城下。这时秦彦晖也率军赶到，和李琼会师。
原来那杨学远北上之后，自知不是对手，不敢正面迎战。杨学远依托衡山，在要道上安营扎寨，准备坚守不出。不久秦彦晖大军来到，随即列阵挑战。杨学远严令不许出战，秦彦晖求战不成，只得强攻。然后衡山地势险要，秦彦晖猛攻一日，毫无收获，只得收兵回营。
到了夜间，秦彦晖思得一计，让刘勍带领一支精兵趁着夜色，在当地人的引领下，从山间小路绕到了杨学远山寨的背后。刘勍把士卒分为数股，到处放火，四下呐喊。与此同时，秦彦晖在正面连夜攻打。杨学远的部下大多是没有经历过恶战的新兵，如果只是让他们据寨死守，他们到是能够尽力而为。
衡州的士卒突然见到寨后火起，杀声一片，顿时心慌意乱，哪里还有心思去防守正面拼命来攻的武安军？不久之后，武安军的士卒就攻上来山寨，衡州兵四散奔逃。杨学远见大势已去，只得带着残兵向衡州逃去。正走之际，路边突然杀出一员大将，正是一早就埋伏好的刘勍。杨学远措手不及，被刘勍一刀劈落马下。
秦彦晖攻占衡山之后，留下少量人马驻守，在衡州降兵的指引下，很快来到了衡州城，却见李琼已经先到。两人一商议，当即在衡州城下列阵挑战。杨师远见城下武安军黑压压的一片，哪里敢出城。李琼和秦彦晖见他不出，令人高举杨学远、杨慕远兄弟的首级，绕城高呼，劝说城里军民开门投降。
城内的士卒见到杨家兄弟的首级，自然心中惧怕，杨师远看到两个兄弟血肉模糊的脑袋，大叫一声，竟然晕了过去。正在此时，李琼一声令下，武安军架起云梯，四面攻打。城头上的守军早已没有心思抵抗，很快被武安军攻上城墙，大开城门，接应李琼等人的大军进城。
李琼带着亲兵直奔刺史府衙，秦彦晖则率军清剿衡州兵的残部。李琼刚到刺史府衙，就看到杨师远从府中出来，正要逃跑。李琼大喝一声，拍马舞刀，冲了上来。杨师远无奈，只得举刀相迎。杨师远虽然武艺不弱，但是哪里是李琼对手。又加上此刻他心慌意乱，交手不到数合，被李琼一刀劈死。
李琼和秦彦晖很快肃清残敌，控制了衡州全城。出榜安民之后，李琼派人向马殷报捷。马殷得报大喜，带着高郁和姚彦章，率领亲兵军来到衡州。马殷令李琼和秦彦晖移军城外，修整过后，继续南下。衡州重地，自然要让一个信得过的人镇守。
马殷特地把姚彦章带来，就是要让他担任衡州刺史的。姚彦章本就是马殷的发小，总角之交，一直以来对马殷忠心耿耿。在现在的武安军中，自然是以姚彦章最得马殷信任。姚彦章自是大喜，谢过了马殷。
马殷夺得衡州之后，在高郁的建议下，倾大力经营。轻徭薄赋，善待百姓。马殷又十分重视农田水利。衡州多旱，禾苗旱死而失收。马殷深知赋税出自农田，农田受旱，楚国赋税无着。马殷令户部拨专款给属县兴修农田水利。马楚在二十余年中，仅在衡州境内就兴修山塘水库数百余处，使得数万亩农田免除了旱灾。