这时候，曾国藩因为与湖南提督鲍起豹处得不好，把团防局移到衡州（衡阳），在衡州集合了来自各地的乡勇，编成陆师十三营、水师十营，加上长夫等，共有一万七千多人，积极操练、装备，凑齐了洋炮三百二十尊、土炮一百多尊、长龙船五十艘、快蟹船四十艘、钓钩船一百二十艘、三板船一百五十艘、辎重船一百多艘以及四万斤盐、三万斤油、一万二千石米、一万八千石煤。
太平军攻不下南昌，却在咸丰四年（1854年）正月十五日打下黄州（湖北黄冈），乘胜溯江而上占了岳州（岳阳）、湘阴。曾国藩由衡州北上迎战，太平军小挫，丢掉湘阴、岳州。
攻进岳州的前锋将领不是别人，正是王錱。王继续向湖北挺进，在三月初七日与太平军战于蒲圻县的羊楼司，因众寡不敌，次日退至岳州，被太平军追及。岳州与湘阴重新入于太平军之手。
太平军一面聚集很多船只与兵士在湘阴之南（长沙之北）的靖港，一面袭取靖港西南的宁乡县，由宁乡进占长沙西南的湘潭，在湘潭获得民船顺湘江而北，对长沙采取南北夹攻的态势。
曾国藩十分焦急，一面派塔齐布、褚汝航等人去湘潭，一面亲自率领水师到靖港与太平军死拼。从三月二十四日拼到四月初二日，大败。曾国藩本人跳水自杀，被左右的人捞起。
同时候，塔齐布、褚汝航等人却在南路获胜，收复了湘潭。
靖港之败，是由于：（一）水师主力已被调赴湘江上流、湘潭前线；（二）西南风忽然大起，曾国藩的四十艘兵船被吹到太平军射程以内，官兵控制不住。
湘潭之胜，是由于：（一）于四月初一、初二褚汝航的水师与塔齐布的陆师业已连胜二日；（二）初四日北风大起，彭玉麟与杨载福（岳斌）因风纵火，烧毁太平军船只六七百只。于是初五日卯刻（早晨五六点钟），江忠淑（江忠源的弟弟）率领了几十个楚勇乘虚爬上湘潭城墙，开了城门迎进塔齐布所率领的兵（正规军）与勇（湘勇），杀了二百名左右“长发”（太平军老兄弟）与“短发”（太平军新兄弟），俘虏了六十几名，其中有一个“自称五军统领正元帅罗，口音似广东人，问其名坚不吐实，桀骜万状，当即斩决。”
王錱在四月初五这一天，追太平军至云湖桥，杀四十二名。第二天，他又设伏于鲁家坝，杀太平军三百余名，生擒二十余名。
事后，曾国藩分别保举塔齐布、周凤山、褚汝航、杨载福、彭玉麟、江忠淑。
塔齐布是满洲正黄旗人，火器营鸟枪护军出身，当过道光的三等侍卫，分发在湖南巡抚的抚标（绿营），官居守备，助守长沙有功，升至参将。曾国藩办团练，把他调到自己身边，算是湘军军官之中的唯一军事专家，也差不多是唯一的满洲人。在王錱挺进湖北之时，塔齐布攻下通城，曾国藩保他升充副将。现在，曾国藩保他加总兵衔。咸丰接到奏折，予以照准，并且免了湖南提督鲍起豹之职，任命塔齐布署理提督，不久实授。
咸丰命令曾国藩乘胜北进，令曾国藩啼笑皆非，一万七千人已打得只剩下四千左右，如何北进得了。但是，武昌在这一年（咸丰四年）六月初二日失守（这是太平军占领武昌的第二次；第一次是在咸丰二年十二月初四日；第三次是在咸丰五年二月十七日）。