徐达是帅才，常遇春是将才，在所有的“将”之中，常遇春堪称第一。
他是怀远人（怀远县城在淮河北岸，位于蚌埠的西北），在龙凤元年（至正十五年，1355年）带了几十个强盗到和州投奔朱元璋。那时候，他的年纪是二十六岁，当强盗已经当了三年。两个月以后，他自请担任先锋，朱元璋说：“你来，无非是为了你们山寨上粮食不够吃。吃饱了，你和你的弟兄们便可以走。你原有你的主子（山寨上的刘聚），我不便强留。”常遇春哭着请求朱元璋留他，说刘聚不过是一个强盗头子，不能有所成就，朱元璋才真是安邦定国的主子。朱元璋说：“好罢，等我渡了长江，那时候愿留愿去，再听你的便罢。”
在渡江一役之中，常遇春的表现极好，朱元璋的兵，后有元军的大船威胁，前有元军的采石矶坚垒，登不了岸。正在危急之时，常遇春手持长槊，飞舸而至，一跳上了岸，再跳登了采石矶，于是采石矶一战而定，朱元璋乘势取得太平（当涂）。常遇春被留了下来，当先锋，由先锋而升为太平府总管与“太平兴国翼元帅”（朱元璋自己）下面的“都督”之一。不久，元军的水军将领蛮子海牙夺回采石矶，朱元璋去打，也全靠常遇春飞舸而至，把元军的兵船冲成两截，首尾不能相应，使得朱元璋又获全胜。
其后，打集庆（南京），常遇春的功也是最大。跟着徐达打镇江、常州，积功升为“中翼大元帅”。（徐达在当时的官职，是“淮兴翼统军元帅，佥枢密院事”，“佥院”是刘福通所授的宋朝官职。）再其后，常遇春跟着徐达拿下宁国、池州。徐达升为“奉国上将军，同知枢密院事”；常遇春升为“（江南）行省都督，马步水军大元帅”。
常遇春跟随朱元璋拿下婺州（江西婺源），升为“同佥枢密院事”；分兵拿下衢州，升为“佥枢密院事”，收复陈友谅所袭占的太平，留守有功，升为“行省参知政事”。朱元璋带大军去安丰，救刘福通，到达时，刘福通已死，安丰城已为吕珍所占，朱元璋的左军右军皆败，全靠常遇春一军“横击”反败为胜。朱元璋与陈友谅决战于鄱阳湖，座船搁浅，全靠常遇春一箭射中对方的主将张定边，转危为安。其后溯江而上，扼守湖口，挡住陈军的归路的，也是他，朱元璋进位吴王，以李善长为右相国，徐达为左相国（那时候，尚右），常遇春为“平章政事”，地位仅次于右左相国。打陈理，取江西各地，打张士诚，取淮北淮南苏州，也都有他，受封为鄂国公。北伐，徐达作征虏大将军，他作征虏副将军。洪武二年，他与李文忠率领步骑九万，由锦州经热河，打下开平，几乎捉住了元顺帝。不幸，在回师北平之时，于七月间暴卒于柳河川（河北省西北部）。害他的人，是部下的一个军官。他生平惟一的缺点，是性急，可惜竟因此而死，享年仅有四十。朱元璋追封他为开平王，谥以“忠武”，赠三世祖先王号，叫宋濂给他写了一篇《神道碑》。