杨义臣，代人，原姓尉迟。其父尉迟崇，出仕周朝，为仪同大将军，率兵镇守恒山。当时，隋文帝任定州总管，尉迟崇见文帝相貌非同常人，经常主动与之结交，文帝同他非常友好。文帝任丞相时，尉迟迥起兵叛乱，尉迟崇因与尉迟迥有宗族关系，就自我囚禁，派遣使者赴朝请罪。文帝致书安慰尉迟崇，讲明利害，令尉迟崇立即驰赴京师，经常把他带在身边。隋文帝开皇初年，封尉迟崇为秦兴公。过了一年多，尉迟崇跟随达奚长儒赴周..打击突厥军，奋力杀敌，战死于军中。追赠为将军、豫州刺史，由杨义臣继承其父尉迟崇的官爵。
当时，杨义臣尚年幼，寄养在家中，未到弱冠的年龄，就奉诏象千牛卫一样，宿卫宫中数年，赏赐非常丰厚。文帝曾经言及恩人故旧，看着杨义臣嗟叹很久，于是下诏赐义臣姓杨，编入皇亲名籍，成为文帝的从孙。时间不久，拜任陕州刺史。义臣性情谨慎忠厚，擅长骑马射箭，有将领之才。后来，突厥头领达可汗率兵侵犯边塞，杨义臣以行军总管的身份领兵出白道，大破突厥军。第二年，突厥人又侵犯边境，杨义臣领兵追击，追至大斤山，与突厥军相遇。这时，太平公史万岁也领兵追至，史、杨合兵，大败突厥军。史万岁受到杨素的陷害，杨义臣的功劳竟然也不予记录。
炀帝即位，汉王杨谅造反。当时，代州总管李景被杨谅的部将乔钟葵围困，杨义臣当时任朔州总管，奉诏往救李景。钟葵见杨义臣的兵少，就率领所部军兵一起迎击。钟葵手下的亚将王拔骁勇善战，善用丈八长槊，箭射却射不中他，经常带着几个骑兵冲锋陷阵。杨义臣把他视为大患，招募能够敌挡王拔的人。车骑将军杨思恩请命阻挡王拔。杨义臣见杨思恩气貌雄伟，看了他一眼说：“是个壮士！”赐给他酒喝。杨思恩望见王拔站立阵后，扔酒杯于地，纵马而去。战了两个回合，杨思恩没能取胜，跟随他去的骑兵退了回来，杨思恩被王拔杀死于阵上。王拔乘胜追击，杨义臣的军队败逃十多里。杨义臣用重金赎回杨思恩的尸首，哭得十分悲痛，三军将士没有不痛哭流涕的，跟随杨思恩上阵的骑士都被腰斩。杨义臣以为自己的兵力不足，就把军中的牛驴驱赶到山谷间，以收出其不意的效果。杨义臣在午后申时再次与钟葵交战，双方军队刚刚交锋，杨义臣命令驱使牛驴的士卒迅速前进。一时间战鼓齐鸣，尘烟蔽日，钟葵的军队不知道发生了什么事情，认为是伏兵天降，于是就纷纷溃逃，杨义臣驱兵追击，大破钟葵兵。杨义臣因功晋位上大将军，逐步升任至太仆卿。
随大军征讨吐谷浑，受命驻军琵琶峡，南北连营八十里，南与元寿的军队相接，北连段文振的军队，一起在覆袁川围攻吐谷浑首领。又随大军征伐辽东，率军直指肃慎道。到鸭绿水，与乙支文德交战，每次都是充当先锋，一天打了七个胜仗。后来因各路军马都战败，竟然连坐免官。很快又官复原职。第二年，以副将的身份，与大将军宇文述一起攻取平壤。行至鸭绿水，适逢杨玄感作乱，进犯扶风、安定，杨义臣奉诏率兵平定叛乱。不久，又跟随文帝再次征讨辽东，晋升为左光禄大夫。
这时，渤海高士达、清河张金称聚集在一次，为害地方，攻陷郡县。炀帝派遣将军段达征讨，未能平定，诏令杨义臣率辽东兵回师，攻击叛贼，大败高士达军，将张金称斩首。又收伏降兵，进入豆子..，讨伐乱贼格谦，生俘格谦，呈书奏知炀帝。炀帝害怕杨义臣的威名，急令杨义臣回朝，盗贼因此又兴盛起来。杨义臣因军功晋位为光禄大夫，不久又升任礼部尚书。死于官任。