军顾不上疲惫，继续朝北边逃去。不好的消息不断传来，背后的那支燕云军在不断迫近之中，而且另有一支燕云军则顺着西江西上，已经攻破了端州（现在的肇庆市），广州周边地区已然成了糜烂之局，不可收拾了。皇帝惶恐之下，急忙向吴玠传令，令他即刻率领所有部队回援。此时此刻，他也顾不上收复荆湖南路了。
吴玠在衡州休整，准备继续进攻潭州，却突然接到了朝廷的急令，说广州及其周边地区被燕云水军攻陷，陛下及朝廷正在逃难之中，令他即刻率领大军回援。吴玠等接到这样的命令，都不由得大惊失色，随即都不由得担心起留在广州的亲人来。
吴玠顾不上细想，急令各军集结，准备回援。