罗泽南所练的湘勇三营，先期调来长沙。江忠源的楚勇，大部分跟江忠源去了湖北、江西，但也有一部分留在长沙。曾国藩除了叫人在湘乡继续招募若干湘勇以外，又叫人在辰州招了一些“辰勇”，在宝庆招了一些“宝勇”。其后，所有的这些勇，均统名为“湘军”，而“湘军”的“湘”字不再是“湘乡”的缩写，而是“湘省”的缩写了。
曾国藩任事不到半年，在种种方面均显出毕竟不凡。练兵、带兵，他原是十足的外行。他只凭一股热忱与得自读书和修养的一套“明理”的工夫，结果把军事办得井井有条。
首先，他替湘军定下编制，以营为作战单位，每营营官一人，兵士三百六十人，长夫一百四十人，其后扩充为官兵五百零五人，长夫一百八十人，分为四哨，哨有哨官，哨下有什，什设什长。
兵士的步器以刀矛为主，但也有小枪、抬枪、劈山炮。每营有刀矛十九队、小枪九队、抬枪八队、劈山炮两队，共计三十八队，各队的人数不等。
所谓长夫，是辎重兵兼工兵，在行军的时候担任搬运，在扎营的时候担任掘壕、筑墙。壕有多深、多阔，墙有多高、多厚；壕有几道，离墙若干尺，等等，曾国藩均一一加以规定。行军的行列次序，每天行若干里，几时出发，几时停止，几时掘壕、筑墙，几时造饭、吃饭，曾国藩也立下“章程”，叫大家遵守。
他所最注重的是操练。操练的内容，包括个别的步技与团体的摆阵。他认为兵士必须步技好，作战才能勇敢。他研究了自古以来的种种阵法与太平军惯用的几种阵法，然后创造出自己的阵法来，叫大家练习。曾国藩很参考了一些兵书，其中最重要的一部是戚继光的《练兵实纪》。王錱的《练勇刍言》，曾也颇加重视。