文宗咸丰二年冬十一月，命丁忧侍郎曾国藩在湖南原籍帮同料理本省团练事务。初，道光二十四年，湖南新宁举人江忠源赴大挑，得教职归，以新宁地接广西，民傜杂处多盗，察天下将乱，倡行团练，以兵法部勒乡人子弟，是为湖南团练之始。二十七年秋，傜民雷再浩勼众滋事，忠源率乡民捣其巢，擒再浩，是为湖南乡勇立功之始。
及咸丰元年三月，洪秀全自金田北走象州，朝命大学士赛尚阿出视师，闻忠源知兵，疏调军前。忠源募故所用乡勇五百，使弟忠浚率以来，号楚勇。楚勇始至，敝衣槁项，满蒙军皆匿笑。时敌氛张甚，屯兵数万，莫敢前。忠源筑垒逼敌营，以五百人出战，斩首数百，是为湖南乡勇出境立功之始。忠源既数立功，于是兵妒勇甚，所屯则私鬬，战败固不救，反陷之，忠源遂以病归。兵所至，且奸掠焚杀。民以为官兵肆暴虐，则倡议通敌，及结盟拜会，相挻起矣。国藩既奉命帮办巡抚团练，时湘乡先立练局，诸生罗泽南、王鑫办团练有名，巡抚张亮基令各募一营，助战守，号湘勇，并请国藩主其事。辞母忧不出，且言书生不知兵，已闻武昌破，湖南大震，始至长沙，与亮基治守御，且疏言：“团练之难，难于捐赀。湖南行伍空虚，以练兵为要务，自军兴以来，二年有馀，糜饷不为不多，调集大兵不为不众，而往往见贼逃溃，未闻有鏖战者；所用兵器皆大炮、乌枪，远远轰击，未闻有短兵交锋者，其故何哉？由兵未练习，无胆无艺故也。今欲改弦更张，于省城立一大团，择乡民壮健朴实者，招募来省。练一人收一人之益，练一月有一月之效。”又曰：“湖南会匪自粤逆入楚，大半附之而去，然犹有串子、红黑、边钱香会，成群啸聚，如东南衡永柳桂，西南宝庆靖州，万山丛簿，为卯育之区。有司亦深知其不可遏，特不欲其祸自我而发，相与掩饰弥缝，苟且一日之安。积数十年，应杀不杀之人而任其横行，令乡里无赖之民嚣然而不靖，彼见夫命盗首犯，常逍遥于法外也，见夫粤匪猖獗而莫制也，遂以为法律不足凭，官长不足畏。若非严刑峻法，无以折其不逞之志。臣欲纯用重典以锄强暴，即良民有安生之日。臣身虽得残恶严酷之名，所不敢辞。今之急务，在使通省无不破之案，而尽除大小各会匪，则涤瑕荡秽可期也。有曾经抢掠、拜会、结盟者，请即用巡抚令旗、恭靖王命，立行正法。内奸既清，外寇虽至，无能为已。”于是先清内讧，不经有司，掩捕即置重典，十旬中，戮二百馀名，一时谤议四起，至有“曾剃头”之称。国藩不顾也，乃以十二月治军旅，以召募易行伍，尽废官兵，专选士人、领山农，各自成营。拔考规制，今古章式，无可仿效，独戚继光书，号为“切时用”，因所言变通行之。以三百六十人为一营，中营罗泽南将之，左营王鑫将之，右营邹寿璋将之，塔齐布将兵勇成二营，周凤山、储玫躬各将二营，曾国葆将一营，是为湘军陆师编制之始。国藩仍欲充广至六千人，合忠源所将成一万，为义师。
四年，春三月，湖北军溃于黄州，曾国藩统水陆军东下。时国藩闻总督吴文镕败死黄州，知时事愈危，势不得出十全，于是改营制，以塔齐布、周凤山、储玟躬、林源恩，邹世琦、邹寿璋、汤名声、曾国葆统之，合水师共万七千人，建旗东下。其营制，每营设营官一人，分立前、后、左、右四哨，每哨设官一，营官有亲兵，有什长。其亲兵分六队，每队设什长一名，率亲兵十名，伙勇一名，计六队，凡七十二人。哨官有哨长一名，护勇五名，其外有什长，有正勇，有伙勇。一哨分八队，每队什长一名，伙勇一名。其抬枪队，正勇十二名，合什长、伙勇为十四名。其刀矛小枪队，正勇十名，合什长、伙勇为十二名。每哨合哨官、哨长、护勇为一百八人，四哨共四百三十二人，合之营官、亲兵为五百四人。队官在外，其书记医匠，或有或无，营官主之。其联伍之制，亲兵六队，则一队劈山炮，二队刀矛，三队劈山炮，四队刀矛，五队小枪，六队刀矛。每哨八队，则抬枪为第一队，刀矛为第二队，小枪为第三队，刀矛为第四队，抬枪为第五队，刀矛为第六队，小枪为第七队，刀矛为第八队，总计一营。劈山炮两队，抬枪八队，小枪九队，刀矛十九队，共为三十八队。其搬运辎重、军装、行粮，则有长夫、每营营官及帮办人员。共用长夫四十八名。搬运子药、火绳及一切军装等项，共用长夫三十名。营官亲兵队、劈山炮队，用长夫三名，刀矛小枪队，用长夫二名。计六队，用长夫十四名。如拔营远行，营官另拨公夫，帮抬劈山炮。哨官、哨长及护勇五人，共用长夫四名，四哨共夫十六名。其哨队，每抬枪队，用长夫三名，每刀矛小枪队，用长夫二名。计四哨抬枪八队，用长夫二十四名，刀矛小枪队，用长夫二十四名，共长夫四十八名，总共一营用长夫一百八十名，大率百人用长夫三十六名，合之营哨官员各勇人等，共六百八十五人，是为正额。或数营设统领一员，或十营，或十馀营，统一统领，则视其材之大小，无定制。其军器，立营时给之，怀敝修之，唯铅弹、药绳、帐棚得以时领。营官给十帐，八夹二单；哨官三帐，一夹二单；亲兵队二帐，一夹一单；哨队二帐，皆单；凡营帐，单者八十，夹者十八。其军行，以三百五十人，各备战器，百五十人督长夫护用器。前有探马，后有押帮，各从其营，无有或错。其行，率日三四十里，黎明而发，未晡而息，行所至为叠。营官相其地，准之以绳，从而为壕。壕丈五尺，复壕土为墙，厚一丈，其崇八尺。墙壕容二丈远，其馀土队为一棚，棚有𫁘厕，厕有外内。外厕四之，内厕一之。火药有窖，以堇涂之，涂皆孔之。其军市设于绳墙叠外，其垒近市，则严其门禁，午夜籍之，出入无验，议而诛之。夜号之字，营官授之。守夜之卒，营五十人，敌近则百人以更为班，班十人。若二十人，哨官察之。五更咸兴，朝暮操练，以声警之，故行不可速，止不可懈，行速则病，止懈则散。作壕之法，外内重设。外壕广六尺，深八尺，内壕半之。环而沟之，必有横涂，相距二丈。叠墙既成，去其外涂，留其内涂。作墙如城，其高七尺，子墙半之。墙厚六尺，左右二门。其作筑时，见敌则拼力，无事则长夫之役也。步行，率八刻而行十五里。寒日短，而行易；暑日长，而行难，以画四十刻率之。行六十刻而三十里。其十六刻以筑营叠，馀十二刻而后昏暮，则神暇形壮，可以待敌。溯湘军之所由起，为救额兵之敝也。初，额兵习气深，胜不相让，败不相救。国藩练湘军，谓必万众一心，万人一气，始可当敌。而湘军尊上而知礼，畏法而爱民，故军日强。专灭太平军、自成军而出，奏功桑梓，长驱东下，荡鄂渚，榷江州，规复全皖，旁循苏浙，然后进克全陵，大功告成。其后且南至交趾，北及承德，东循潮汀，乃渡海开台湾，西极天山、玉门、大理、永昌、遂度乌孙，水属长江五千里，击索闻于海。其兵威之盛，古未有也。后国藩以湘军用武十年，气不无稍衰，淮上风气强悍，宜别立一军。使其门人李鸿章招募淮军，亲为定营制，选将官，以湘军之良教之，名曰淮军，后以平捻。
编者曰：方湘军之东下也，文宗以曾国藩一人兼统水陆军，心忧之，特诏贵州提督布克慎自黄州还，赴其水营，诏总督台诵会其师。及进克武汉、黄，诸郡肃清，提书至京，文宗始喜。语枢臣曰：不意曾某一书生，乃能建此奇功！祁寯藻对曰：曾某以匹夫居阁里，一呼蹶起，从之者万馀人，恐非国家福。文宗默然，变色者久之。同治初元，彭蕴章条议时事，亦谓湘军遍天下，曾某权太重，恐有尾大不掉之患，于所以撤湘军，削曾氏权者三致意焉。迨至东南底定，剿捻事起，僧格林沁败没曹州城下，穆宗复召曾氏督师。时湘军裁撤已尽，曾氏调淮军，添募徐州勇，训练成军率以往。大小数十战皆捷，捻势实因此而衰，而是时言路犹数数劾之。御使阿凌阿且诉其骄妄，于是曾氏忧谗畏讥之心日益甚，乃请注销封爵开缺，以散员留劳效力，故其奏言湘军平苗、回乃知曾氏暮气之说，其实非也。然国藩悔已晚矣，而其乡人卒未得悟，不镜于国藩以自鞭策也，惜哉！