杨义臣,代人,原姓尉迟。其父尉迟崇,出仕周朝,为仪同大将军,率兵镇守恒山。当时,隋文帝任定州总管,尉迟崇见文帝相貌非同常人,经常主动与之结交,文帝同他非常友好。文帝任丞相时,尉迟迥起兵叛乱,尉迟崇因与尉迟迥有宗族关系,就自我囚禁,派遣使者赴朝请罪。文帝致书安慰尉迟崇,讲明利害,令尉迟崇立即驰赴京师,经常把他带在身边。隋文帝开皇初年,封尉迟崇为秦兴公。过了一年多,尉迟崇跟随达奚长儒赴周..打击突厥军,奋力杀敌,战死于军中。追赠为将军、豫州刺史,由杨义臣继承其父尉迟崇的官爵。

  当时,杨义臣尚年幼,寄养在家中,未到弱冠的年龄,就奉诏象千牛卫一样,宿卫宫中数年,赏赐非常丰厚。文帝曾经言及恩人故旧,看着杨义臣嗟叹很久,于是下诏赐义臣姓杨,编入皇亲名籍,成为文帝的从孙。时间不久,拜任陕州刺史。义臣性情谨慎忠厚,擅长骑马射箭,有将领之才。后来,突厥头领达可汗率兵侵犯边塞,杨义臣以行军总管的身份领兵出白道,大破突厥军。第二年,突厥人又侵犯边境,杨义臣领兵追击,追至大斤山,与突厥军相遇。这时,太平公史万岁也领兵追至,史、杨合兵,大败突厥军。史万岁受到杨素的陷害,杨义臣的功劳竟然也不予记录。

  炀帝即位,汉王杨谅造反。当时,代州总管李景被杨谅的部将乔钟葵围困,杨义臣当时任朔州总管,奉诏往救李景。钟葵见杨义臣的兵少,就率领所部军兵一起迎击。钟葵手下的亚将王拔骁勇善战,善用丈八长槊,箭射却射不中他,经常带着几个骑兵冲锋陷阵。杨义臣把他视为大患,招募能够敌挡王拔的人。车骑将军杨思恩请命阻挡王拔。杨义臣见杨思恩气貌雄伟,看了他一眼说:“是个壮士!”赐给他酒喝。杨思恩望见王拔站立阵后,扔酒杯于地,纵马而去。战了两个回合,杨思恩没能取胜,跟随他去的骑兵退了回来,杨思恩被王拔杀死于阵上。王拔乘胜追击,杨义臣的军队败逃十多里。杨义臣用重金赎回杨思恩的尸首,哭得十分悲痛,三军将士没有不痛哭流涕的,跟随杨思恩上阵的骑士都被腰斩。杨义臣以为自己的兵力不足,就把军中的牛驴驱赶到山谷间,以收出其不意的效果。杨义臣在午后申时再次与钟葵交战,双方军队刚刚交锋,杨义臣命令驱使牛驴的士卒迅速前进。一时间战鼓齐鸣,尘烟蔽日,钟葵的军队不知道发生了什么事情,认为是伏兵天降,于是就纷纷溃逃,杨义臣驱兵追击,大破钟葵兵。杨义臣因功晋位上大将军,逐步升任至太仆卿。

  随大军征讨吐谷浑,受命驻军琵琶峡,南北连营八十里,南与元寿的军队相接,北连段文振的军队,一起在覆袁川围攻吐谷浑首领。又随大军征伐辽东,率军直指肃慎道。到鸭绿水,与乙支文德交战,每次都是充当先锋,一天打了七个胜仗。后来因各路军马都战败,竟然连坐免官。很快又官复原职。第二年,以副将的身份,与大将军宇文述一起攻取平壤。行至鸭绿水,适逢杨玄感作乱,进犯扶风、安定,杨义臣奉诏率兵平定叛乱。不久,又跟随文帝再次征讨辽东,晋升为左光禄大夫。

  这时,渤海高士达、清河张金称聚集在一次,为害地方,攻陷郡县。炀帝派遣将军段达征讨,未能平定,诏令杨义臣率辽东兵回师,攻击叛贼,大败高士达军,将张金称斩首。又收伏降兵,进入豆子..,讨伐乱贼格谦,生俘格谦,呈书奏知炀帝。炀帝害怕杨义臣的威名,急令杨义臣回朝,盗贼因此又兴盛起来。杨义臣因军功晋位为光禄大夫,不久又升任礼部尚书。死于官任。