曾国藩无可奈何，只得鼓起勇气，带领增募的水勇、陆勇，邀约罗泽南从江西带回来的“老湘勇”与胡林翼从贵州带来的“黔勇”，江忠淑所统率的“楚勇”（湖南新宁一带的勇），李孟群带来的一千名广西水勇，陈辉龙带来的四百名广东水勇，分三路北进。
中路以水师为主，由褚汝航统率，辅以塔齐布的陆师，在七月初一日攻下岳州。太平军韦俊、曾天养等将领，屡次反攻，均被曾军击败。曾军在闰七月初二日进克城陵矶，杀死黄天养。但曾军的褚汝航与陈辉龙，也在此时先后阵亡。
左路由胡林翼指挥，占领常德。胡林翼是湖南益阳人，翰林出身，在贵州历任安顺、镇远、黎平知府，贵东道，办团练颇有成绩，被调到湖北，又调到湖南，在肃清湖南安化后，升为四川按察使，未及到任，改湖北按察使。
右路由江忠淑指挥，无甚进展，但右路的目标崇阳仍被中路曾军攻下。中路在攻下崇阳以后，一口气进占咸宁，咸宁是武昌的南边邻县。
罗泽南向曾国藩建议，分攻武昌外围的花园与洪山：罗攻花园，塔齐布攻洪山。同时候，新任两湖总督杨霈，亦已率兵威胁汉阳（前任两湖总督吴文镕于黄州失守之时自杀）。
花园与洪山果然被罗、塔二人攻下，太平军于八月二十三日撤出武昌、汉阳二城。（这是太平军的第二次撤出武汉；第一次是在咸丰三年正月初二日，第三次是在咸丰六年十一月二十二日。）
曾国藩飞奏清廷，咸丰赏他二品顶戴，任他为署理湖北巡抚。曾国藩辞谢了一次，咸丰命令他以兵部侍郎的名义，继续督师攻取九江安庆。湖北巡抚的职务，改交陶恩培担任。