李秀成的军队，在攻下常州、无锡、苏州、松江以后，于咸丰十年（1860年）五月受到“洋枪队”的突袭，失掉松江。
这洋枪队的队长，是美国冒险家华尔。队员有一百名左右，全是失业的各国水手与各国海军的逃兵，其中大多数是所谓“马尼拉人”（菲律宾人）。
支持这洋枪队的，是上海租界的宁波巨商、四明公所的董事杨坊。杨坊于获得苏松太道吴煦的同意以后，自己筹款叫华尔招募“国际滥仔”，攻击太平军以保卫租界的外围。
两个月以后，李秀成麾下郜云官（永宽）的兵进驻上海西郊的徐家汇，与英、法两国的军队遭遇，交锋后退走。事后，李秀成写信向英、法两国驻在上海的“公使”声明，说无意与英、法为敌，希望两国继续对太平军保持友好的关系。
此后的一年半期间，太平军未再进兵上海，也不曾企图收复松江。华尔却以松江为根据地，扩充洋枪队，添募了不少华人，于咸丰十年六月及咸丰十一年二月先后进攻青浦三次，三次均被太平军击败。
同治元年（1862年）正月，李秀成终于想收复松江，在十二日派了兵来，被华尔打退，死了两千多，被俘了六七百。
李秀成很生气，命令郜云官与谭绍光等人大举进攻上海。郜、谭等军绕到浦东，在正月下旬与华尔的洋枪队接触于浦东北端的高桥镇。有三百八十名英国正规军、三百名法国正规军，于英国海军“提督”何伯的指挥之下，也站在洋枪队的这一边，与洋枪队并肩作战，获胜。
一个星期以后，洋枪队与这小规模的“英、法联军”又在浦东南端的南桥镇，胜了太平军一次。
捷报传到清廷，“两宫皇太后”（东太后与西太后）颁下懿旨，赏给华尔以四品翎顶，把洋枪队改名为“常胜军”，任命华尔与杨坊二人为“管带”（实际上杨坊只管筹款）。
常胜军的员额规定为三千人，其后扩充到四五千。
同治元年三月，英国外务大臣罗瑟尔咨请海军大臣通令英国在华海军，保护上海及其他通商口岸，以及航行于长江的商船。从此，英国不再中立于清军及太平军之间，而公开地站在清军的一方。法国的态度与英国一致。
英国的一部分陆军，约有二千七百名左右，由斯泰夫莱率领，从天津调来上海，会同英、法两国的海军与常胜军，共同保卫上海租界，及其三十英里半径的外围。事实上的总司令，由何伯担任。
包括在这三十英里半径以内的重要城镇，是松江、青浦、嘉定、柘林、闵行。松江已在华尔的手中，青浦等地于同治元年四月间一一被“联军”及常胜军占领，使得李秀成遭受到很大的打击。
这一月，法国兵在宁波行动，把太平军逐出宁波，虽则太平军从来不曾“侵犯”宁波城外的洋人居留地。
三个月以后，“联军”与常胜军进攻余姚，拿下余姚。华尔赶到余姚率军再打慈溪，负伤而死。
华尔断气以前，立下口头遗嘱，说吴煦欠他十一万两，杨坊欠他三万两。这十四万两银子，他要留五万两银子给他的中国寡妇（也就是杨坊的女儿），其余的分送在美的一弟、一妹。
华尔初来中国之时，是年仅二十一岁的货船大副。开始担任“洋枪队队长”之时，也仅是二十九岁的炮船大副而已。何以在作战两年多以后，能够留下这样多的“债权”呢？
原来，攻下松江之时，他应领奖金三万两；其后每攻下一城，他应领奖金三万六千。此外，凡是洋枪队及常胜军所劫掳的“敌人”财宝，他均有一份。再加上他本人的薪饷每个月三百两。
他在遗嘱中，指定何伯与美国公使蒲安臣为遗嘱执行人。但是这两人费尽心机，索不到杨坊与吴煦所欠的十四万两银子。这件事，一直等到几十年之后，才被列在《辛丑和约》之中，作为《拳乱赔款》的附带要求，折合美金十八万元，由清朝政府付出。
华尔出缺以后，常胜军的指挥官改由白齐文担任。白齐文也是美国出生的冒险家，这时候年方二十七岁（比华尔小五岁），自从洋枪队成立以来，一向是华尔的副手。
白齐文立下两次战功。一次是在同治元年九月初二日（10月24日），因太平军再占嘉定，白齐文将嘉定夺回。另一次是在九月二十八日（11月19日），太平军来攻青浦，他与淮军程学启部前往援救，大败太平军，俘了六百，杀了八百，逼到水里去溺死的有两千左右。
然而，他与李鸿章合不来。李鸿章已经继薛焕之后担任江苏巡抚，有权节制常胜军，派了一个英国人浩伦德作常胜军的秘书，对白齐文掣肘。同时，杨坊又拖欠常胜军应领的薪饷。
曾国藩在同治元年十一月（12月底）调常胜军去南京，参加围攻。常胜军全体官兵抗令，说要等领到欠饷才走。白齐文去见杨坊，语言之间发生冲突，就打了杨坊一记耳光，抢走杨坊的现款四万两。他认为这四万两，正是杨坊该给的欠饷。
李鸿章一面将白齐文革职，一面请英国陆军司令斯泰夫莱保荐一个继任人选。斯泰夫莱保荐戈登，于戈登到任以前，暂由浩伦德代理。
浩伦德接管以后，在同治二年正月间去打太仓，吃了一个败仗，死了一百九十人，伤了一百七十四人。浩伦德显然不善指挥。
被革的白齐文不服这口气，乘船到北京去，向英、法两国的公使呈诉；两国公使替他报告恭亲王奕訡。奕訡把事情转请李鸿章考虑，李鸿章却不愿恢复白齐文的职务。
于是，同治二年六月十八日，白齐文叛清，向太平军投效。
他纠合了若干因拥护他而被常胜军开革或自动脱离常胜军的旧部，又增募了若干在上海的“国际滥仔”，在松江附近抢得一艘汽船后直驶苏州，向太平军投效。
太平军收了他的骨干，但并不将他重用。两个多月以后，白齐文与三十二名洋兵回到上海租界。美国领事将他逮捕，押解出境（送到日本），藉以保护他，免得他遭受清方官吏与人民的捕捉。
次年五月，南京城破以前不久，白齐文从日本潜回中国，在宁波登岸，步行到内地（可能是湖州），再度参加太平军，直至在福建漳州被俘为止。美国领事根据领事裁判权，要求清方将他交出。清方说，他在被押解由漳州北上之时中途落水而死。（传说，是清军把他推到河里淹死的。）
常胜军的司令一职，戈登在1863年3月底正式接任。
戈登与华尔、白齐文不同：他不是冒险家，而是正规军官，在英国陆军中已经官至少校。他的年纪也很轻，出生于1833年，这时候才三十一岁。
他旗开得胜，在阳历4月初，便会同清军解了常熟之围。清廷赏他一个总兵头衔。
他又进一步，在阳历5月1日（阴历三月十四日）打下太仓。太仓的太平军守军原有一万之多，以前浩伦德打它不下，最近李鸿章的弟弟李鹤章也试过一次，结果全军（三千人）覆没。
戈登的次一表现，是昆山之役。昆山为苏州、上海之间的重镇，四面是平地与湖沼，城区是突出的二百英尺以上的高地。太平军在昆山有军械库，也有炼铁厂，守军八千人皆是百战精兵，而外围又有谭绍光作为呼应。
程学启由东边攻昆山，反被太平军围住。戈登带了常胜军救他出围，叫程学启于出围以后继续攻城。戈登自己乘武装汽船，于阳历5月31日占领苏、昆之间的某镇，切断太平军的退路。次日，太平军弃昆山而走，八千人死了四五千，被俘两千。
他把常胜军的总部由松江移到昆山。军中有人抗命，他枪毙为首的一人，下令全体官兵愿留者留，愿去者去。结果，在三千九百名之中，愿去者是大多数，愿留者仅有一千七百人。
戈登颇有办法。他把新俘的太平军二千人编入常胜军中，常胜军的作战能力反而因此提高。
清方在取得昆山以后，次一目标是苏州。李鸿章决定，自己由北边（常熟）去打，叫程学启由东边（昆山）去打，常胜军绕到南边，先取吴江，再由吴江去打。
戈登于是带了两千二百名兵士、两艘武装汽船，在同治二年六月初十日出发，于十四日占领吴江。
到了八月中旬，他会同法国军官所指挥的“常捷军”（英文书籍中称为“中法混合部队”Franco-Chinese Contingent），占领苏州南门外的八达桥，离开城区仅有五六华里。不久，他进占西郊与北部的几个据点，与李鸿章会师，合围。
围到十月二十四日，城内的太平军将领于纳王郜云官的主谋之下，杀了主帅慕王谭绍光，开城出降。
事前，在郜云官等人与程学启秘密洽降之时，戈登曾经参加，作为保证人，保证清方不杀降兵、降将。
事后，程学启于引了纳王郜云官等人拜见李鸿章以后，将纳王郜云官、比王伍贵文、康王汪安均、宁王周文佳，以及四个将军、两千多兵士，一概斩首。
戈登认为“杀降”是背信的不义之举，十分愤怒。他想杀李鸿章，想进攻程学启，想夺了苏州，交还给太平军。
经人调停，李鸿章亲自哭祭了郜云官等人一次，戈登才勉强离开苏州，退到昆山，仍坚持李鸿章必须引咎辞去江苏巡抚之职。上海租界及英国的舆论均对戈登同情，美、法两国的舆论也是如此。
结果，常胜军不再由李鸿章节制，而改由英国驻华陆军司令布朗节制。常胜军的任务，也改为限于保卫上海、苏州两地。英国公使布鲁斯通知恭亲王，请准许戈登以后不再与李鸿章有文字上的来往。
李鸿章知道事情闹大，不敢再对戈登下命令，却仍旧照常发给薪饷与给养，并且特拨两万两专款照料常胜军的伤兵。
清廷为了酬庸戈登，赏他一万两银子与一品顶戴。戈登虽则始终不收这一万两银子，始终只肯自称为“英军工兵少校”，但也气平了些。
过了几个月，总税务司英国人赫德替李鸿章作说客，才说动了戈登，重新在李鸿章的指挥之下对太平军作战。
这时候，无锡已被太平军放弃。戈登率领常胜军先到无锡，由无锡攻打宜兴，在同治三年正月二十三日打下。八天以后，又打下溧阳，与曾国荃会师。
其后，戈登连打金坛三次均未得手，死了若干兵，本人腿部受伤。
三月间，戈登会同清军围攻浒墅关，逐走守关的太平军两三万，杀了其中的三千人左右。
最后，在四月初六日，他又会同清军，打下太平军的重镇常州。这是一个决定性的胜利，虽则常胜军本身也死了五十，伤了二百七十九。
这时候，英国政府的训令已经来到，升戈登为工兵中校，命令他与其他的英籍军官一齐脱离常胜军。因此，李鸿章也就下令将常胜军解散。戈登后来在英军中，积功升至中将，官居英埃苏丹大总督，在光绪十年对当地人作战中阵亡。