杨伯雄，字希云，真定藁城人。八世祖杨彦稠，后唐清泰年间，任定州兵马使。后来跟随后晋国君北迁，便居住在临潢。他的父亲杨丘行，任太子左卫率府率。
杨伯雄在皇统二年(1142)中进士，海陵王留守中京时，杨丘行在那里当幕府官员。杨伯雄前来省亲，海陵王见到之后，十分器重他。过了许久，他被调任韩州军事判官。有两个盗贼装成商人，说是受到旅店主人的欺负，一同跑来州衙中陈诉，其实是想挟迫杨伯雄。杨伯雄细心地觉察到他们的奸诈，便将他们抓起来审问，一起抓获了他们的同党十多人，一郡人都惊讶和敬服。又升任应奉翰林文字。当时，海陵王执政，他自以为和杨伯雄是旧相识，便吩咐他时常到自己家里走走。杨伯雄应许了但并不去。有一天，海陵王很奇怪地问他为什么，他回答说：“君子受知于人就应当以礼而进，依附于别人四处钻营，不是我平素的性格。”从此，海陵王更加厚待他。
海陵王篡位自立后，过了几个月，提升他担任右补阙，改任修起居注。海陵王急于求得国家大治，经常和他谈论到深夜。曾经问道：“国君治理天下之道，以什么为贵？”杨伯雄回答说“：贵静。”海陵王听后沉默不语。第二天，又问他说：“我迁徙了诸部猛安分别驻守边境戍镇，前夜的回答是不是认为这种做法不合乎静的？”回答说：“移兵以分驻边境，使之能够南北相互联系，这是国家长久之计。我所说的静，是指不扰民。”二更时分，又询问杨伯雄有关鬼神的事情。杨伯雄进言说“：汉文帝召见贾谊，夜半时分，向前移动坐席，不询问有关百姓的事情而问鬼神之事，后世人颇以此来讥笑他。陛下如果不认为我学识浅陋愚昧无知的话，希望能够问及治理天下的大计，鬼神之事我不曾学过。”海陵王说“：你只管随便说说，以减轻夜间的困倦罢了。”杨伯雄无可奈何，便说：“臣下家里有一卷书，里面写有人死后复活的故事。人们便问地狱中的官员，怎样给以免罪。回答说，你设一本日历，把白天所做的事情，在夜里记录下来，凡是不能写上去的就是不应当做的事情。”海陵王听后，脸色变得庄重起来。夏天时，海陵王登上瑞云楼乘凉，他让杨伯雄作诗。诗的末章写道：“六月不知蒸鰘到，清凉会与万方同。”海陵王看后很高兴，拿给身边的人看并说：“伯雄一说话就忘不了进行规劝，当臣子的就是应当这样啊！”再迁为兵部员外郎。守父丧，服终起任翰林待制，兼修起居注。迁任直学士，再改任右谏议大夫兼任著作郎，修起居注如故。
皇子慎思阿不去世，伯雄因和他一起值班的同僚私下议论而获罪受责罚，话语写在《海陵诸子传》中。海陵王商议南征江南时，杨伯雄上奏说：“晋武帝平吴时也都是任命将帅出征，何必亲自总领军队？”海陵王不听劝谏。于是，免除了他修起居注的官职，也不再召见他。
大定初年，被任命为大兴府少尹，因服母丧而离职。显宗当皇太子时，挑选东宫的属官，张浩向他推荐杨伯雄，于是在服满后被起用任少詹事。杨伯雄哥哥的儿子蟠担任左赞善，他们进谏时言听计从，当时的舆论都以此为荣。杨伯雄收集了古代的太子贤能的和不肖的事迹，写成一部书，书名叫《瑶山往鉴》，进献给朝廷。这本书和他又进献的《羽猎》、《保成》等箴言，都受到朝廷的嘉奖和采纳。又被任命为左谏议大夫、翰林直学士。正遇到太子詹事职务缺人，宰相又举荐杨伯雄担任。皇帝说“：伯雄不能离开我的身边，而东宫也需要他去辅导。”于是任命他为太子詹事兼谏议大夫。
大定六年(1166)，皇帝巡幸西京，准备顺道到凉陉去避暑。杨伯雄领着谏官们一起进宫劝谏。皇帝说“：让我再慢慢考虑。”而杨伯雄仍然劝说个不停。同僚们都已经引退出去了，杨伯雄又过了很长时间才起身告退。当年到了凉陉，在巡行过程中果然出现了疏漏和失误。皇帝又回想起杨伯雄说过的话，当回宫以后，任命他为礼部尚书，并对身边的近臣们说：“群臣之中有才干有气度的人不少，但没有人像伯雄那样忠实。”皇帝又对伯雄说：“龙逄、比干都是因为忠谏而死的，如果他们能够遇到明君，怎么会这样呢！”杨伯雄回答说“：魏征愿意成为良臣，正是因为他认为自己遇到明君啊！”于是，皇帝对着宰相们说：“《尚书》上说：‘你们不要当面表示听从，离开以后又另有说法。’我和你们一起治理天下，事情可不可行，应当立即当面陈说。卿等位居卿相，正是行道扬名之时，如偷安自便，侥幸于一时，如何向后世交代？”群臣都高呼万岁。
大定十二年(1172)，杨伯雄改任为沁南军节度使，又召回朝廷任翰林学士承旨。丞相石琚退休时，皇帝问他：“谁能替代你？”石琚回答说“：伯雄可以。”当时人议论都认为石琚举荐得人。朝廷又任命杨伯雄代理詹事职务。他知无不言，提出了许多匡助朝政的好见解。后来宫廷中的官员有狡诈善变的人时，人们便必定以称赞杨詹事的正直来使他羞耻。后被任命为定武军节度使，改任平阳尹。起先，张浩曾经在平阳任职，有仁政。杨伯雄当了平阳尹后，百姓们都称颂他，并说：“前有张，后有杨。”又改任河中尹。死时六十五岁，谥为庄献。他的弟弟叫伯杰和伯仁，族兄名伯渊。