李纲一直没有做得上扬州知府，他们的船到高邮即有两淮镇抚使派来的将校登船，说是奉旨李纲主战议，丧师废财，责授保静军节度副使，建昌军安置。那么他们一行应往江州报到。及至湖口县，又奉命改派潭州。潭州即古之长沙，历来即是屈原、贾谊等忠臣被流放的地方，也素负“长沙卑湿”之名，近人则说潭州之南为衡州，衡州之南为郴州，郴州之南为韶州，一经谪放到此等地方，总是继续追放；越是往南，愈难得脱身。而且此时吴自诚与徐承茵还害怕或有来历不明之人谋害李公。近来有不少被朝廷贬斥人士，总是“遇盗被害”，也不知道是上峰示意，还是下属借此邀功，总之即是在无人关注时死得不明不白。李大人既在朝中独树一帜，准备对他下毒手的也必有人。吴、徐等又未能带得兵器，只得和各马弁每夜携得竹杖木梃之类在李公卧房外轮值，以防意外。幸亏荆湖南路招讨使岑良胜对李大人素来仰慕倒是真心袒护。而且李原任两河宣抚使的时候，曾呈请给发银钱绢各百万，到头只领得二十万，当他们在九月应召回汴京时即将支付殆尽。现在李公虽然不是全然两袖清风，可是也存储有限。目前徐承茵和吴总管又赖他接济，领得的生活费也只有原来的半薪，所以也总是行囊羞涩，理当不复被人觊觎。只是此等事总是难于预料，仍旧不得不谨慎防范。承茵夜间失去睡眠，白昼也甚难弥补，又无法散心，所以至为抑郁。
至此他不能骑马操兵，也对绘画一事失去兴趣。那么还有何等事可做？他发现只有重新习练大字。那湖南的毛边纸价廉物美，虽比不上宣纸，用写大字还是得心应手。他每日叫陈进忠，替他磨得一砚好墨，因为心头惦念柔福，就常写“壮士有怀难抱国，匈奴未靖不言家”的十四字对联。有一日李公伯纪发现，即加告诫：“徐承茵！人家刚说我们一心主战，丧师废财，现在你在谪居闭门思过的情形下又写这样的对联发牢骚，人家还说我李纲主使，要是给他们报到京里去了，恐怕我们遣派到郴州还不够数，一定要前往雷州、琼州！”
承茵立时将所写字撕毁，可是他见着李公自己的心情也在改变，有时他在室内踱着吟诗，吟的是王荆公的《咏商鞅诗》：“自古驱民在信诚，一言为重百金轻。今人未可轻商鞅，商鞅能令政必行！”
太原被攻陷之后，已有南方的将校由山西逃回。有一日两个这样的将校谒见李公，据他们说：金人攻城的炮架和辎重车辆每架每辆罩着木制屋顶，上用生牛皮和铁叶覆盖。人在掩盖下推行，通常几百人推行一座。攻城的车辆状似鹅形，也是全面覆盖，士卒攀登城垣时才由鹅颈内爬出。既是填塞城下壕沟，也是动员兵夫以千计，全是汉人，所用柴薪也是征发而来。他们去后，晚餐时李大人和承茵与自诚二人说起：“我们越是迟疑不决，只有对方的坐大！我们一个主将，要受几十个文臣监督指摘，他们的一个行军元帅就是一个小皇帝，这样子我们又如何敌得过他们！试问在这种情形之下没有功业又如何施仁义！”
只有吴自诚还是坚信皇上必然会重用“咱家大帅”。他私下和承茵说起皇上曾将《唐书》里的《裴度传》一字一句地手抄一遍赏赐咱家大帅，要不是他有心叮嘱咱家大帅任劳任怨，他不会将全文一万二千字一笔一画地照抄得出来。承茵也记得茂德帝姬曾和他说过“为君难”。不过若是真个如此，连皇上自己都不能一言九鼎地对和战决策，还要叮嘱自己亲信的大臣忍气支吾，那也就表示当前的局面难于收拾了。
十一月间，朝廷内尚在争辩在何程度之内可以割地及如何予金主尊号不致伤国体时，敌将斡离不又已率部渡过黄河。有一日徐承茵接到招讨使署送来的一件文书，他只推说此不过书画局里绘图未尽的琐事，心中却已猜透来件必出自柔福。果然私下拆开一看，内中更有一个小信封，装着帝姬的手笺。这次她所写的则为《西江月》词。文为：
汉地烟尘在北，
为何遣戍南荒？
别来音问久渺茫，
思君露染征裳。
九嶷山里深处，
洞庭湖岸近旁，
遥望着女英娥皇，
泪随斑竹留芳！
他一看就知道“汉地烟尘在北”出自高适的《燕歌行》。原文为“汉家烟尘在西北”，只省改了一二字。其他也不待多解释，娥皇女英为帝尧之二女，嫁与帝舜为后为妃。历来是先娥皇后女英，现因押韵将次序颠倒，也将就了柔福一向行文的惯例。她们在湘江沿岸寻夫不得，泪洒竹枝成斑点，世称“湘妃竹”。因此这词字的婉转凄怆为她以前的笔墨所无。她既已打听出来他目下身在潭州，必然也知道他在陪着李纲大人被谴放，因此才有“遣戍南荒”的字句。她也关心他可能因此吃苦，所以才提出“露染征裳”。再有“泪随斑竹留芳”表示着命途多舛，无计可施。这一切忧怨焦虑，都不像她柔福一向好强自信的态度。因此承茵读罢纳闷，更因无法递送回书而格外地懊丧。至此连李大人也感觉到承茵心神失常，连问是否京中来信有大不好之事。承茵只得推说书画局里的同事因着烽火再兴而焦急，他自己则爱莫能助，也不免为之神伤。
好容易挨至月底李纲接到皇上的蜡书，命他率领潭州兵马勤王。李公与岑招讨使商量，先抽派三千五百人，使李帅不日启程。承茵与吴自诚也换上了原来藏在行囊里的军装，又经招讨使署发给各人的军刀与马匹。承茵也仍挂着进勇副尉的头衔，连日与先行的指挥都头接触，也询察所携带的供应与派给的船只，此时大家心头欢喜。这支荆湖义军人数虽少，却是主帅的亲兵。
而正在这忙得不可分交的当头，徐承茵接到一封家书，信系小妹苏青所写，说是父亲病重，要他回家。他一时又急又恼，真恨不得像屈原一样，立时跳到汨罗江里去，此时距队伍启碇开拔尚有三天。他决心先不声响，尽力先替李公将各事安置妥当，直到临行前夕，才将家信呈给李帅观看，请他决定何去何从。
到头他倒免了这周折。原来这封称父病的家书由董同兴刀剪店转达。董家总店开在杭州府城内，与潭州分店的来往信件却并不十分频繁。承茵接信时去苏青递信已近一个整月。三日之后他又接到一封来信，信由福盛绸庄转，在路上倒只走了八天。这封书信由陆澹园执笔，说是顾及刻下大势，已与苏青提早成婚，暂时仍住在岳父徐家大屋里。承茵猜想，大概余杭县的县令还是有文书要逮捕他，他还是要继续躲过一段风声，所以暂时不惜为徐家赘婿。要在平时他自己少不得一场议论，现在则是木已成舟。况且他信内又说及岳父的病看好，他也知道姻兄公务繁重，如果事忙倒不必牵挂，他和苏青大可应付。看到这里他已经松了一口气，只好更相信各人之事早由命中安排。他自此也更用不着为家中之事过度担心。
闰十一月，这支勤王军到达武昌，只因连日风雪，大帅还在与各将领商议是否应走近路登陆，还是由水道多省一部人力，绕过大别山后才走陆道不迟。此时已有兵部快报至驿站，说是京师已被金人攻下，皇上与太上皇一道蒙尘。这消息来得如是突然，自主帅至士卒都瞪眼咋舌不知所措，各人也在水次徘徊，全没有了主张。直到午后逼近黄昏才有当地驿丞问得明白船中尚有李纲大人伯纪在，他就亲来呈上一封书信，据说信到驿站已两日，只是昨前两日尚无从探询得李公行止。发信人则为康王构。原来康王自金营脱走之后已奉旨在济州开大元帅府。现在局势如斯，他准备不日南来主持大局。他要李伯纪先往江宁府待命。