于谨字思敬，是河南洛阳人，小名巨弥。
曾祖于婆，任魏国怀荒阵将。
祖父于安定，任平凉郡守、高平郡将。
父于提，任陇西郡守，封荏平县伯。
保定二年(562)，由于于谨功勋卓著，追赠于提为使持节、柱国大将军、太保、建平郡公。
于谨性格深沉，有才识器量，多少读过些经史，特别喜欢《孙子兵书》。
他隐居乡里，没有当官的意思。
有人劝说他，于谨回答说：“州郡之职，从前就被人们看不到眼里；三公之位，必须等待时运来到。
我在郡邑悠闲自得，不过是打发光阴罢了。”太宰元穆见到他，赞叹道：“真是辅佐帝王的人才啊！”后来，破六汗拔陵首次扰乱北部边境，请蠕蠕为后援，大行台仆射元纂率军征讨。
元纂早就听说于谨的名望，任命他为铠曹参军事，随军北伐。
蠕蠕听说大军逼近，逃出塞外。
元纂命令于谨率领二千骑兵追击，直到郁对原，前后十七战，使蠕蠕全部投降。
后来率领轻装骑兵出塞侦察贼军动静，恰好有数千铁勒骑兵突然冲到，于谨知道众寡不敌，倘若撤退必然全军覆没，于是将部下骑兵分散，隐匿在草木丛生之处，又派人登上山顶指挥，好像调度各路兵马一样。
贼人望见，虽然怀疑有埋伏，但仗恃人多，并不害怕，仍然向前推进，逼近于谨。
于谨平时所乘骏马，一匹是紫色的，一匹身黄而嘴黑，贼人早已识得。
于谨派两个人各乘一匹，冲阵而出。
贼军以为是于谨，都争先恐后地追赶。
于谨于是率领余下的军队发动攻击，那些追赶的贼骑急忙逃走，于谨乘机入塞。
正光四年(523)，行台广阳王元深训练军队，准备北伐，推荐于谨担任长流参军，对他特别优待，所有计谋都与于谨商议，元深又让他的儿子佛陀拜见于谨，待于谨达到这种地步。
于是与广阳王击败贼酋斛律野谷禄等人。
时当魏末动乱，盗贼纷起，于谨从容地对广阳王说：“从正光年间以来，四海动荡，国家荒残，农商凋敝。
如今殿下奉行仁义，为诛灭群盗而远赴边关，可是盗贼之多犹如蚁聚，假若一味用兵，恐非上策。
于谨愿意仰承大王的威望谋略，前去向他们说明道理，必定不用军队，而可以达到平定的目的。”广阳王表示赞同。
于谨通晓数国语言，于是独自骑着马进入贼人营地，向他们表示恩惠和信诺。
西部铁勒酋长乜列河等人率领三万余户一块诚心归附，相继南迁。
广阳王想和于谨到折敷岭迎接他们。
于谨说：“破六汗拔陵兵马不少，听说乜列河等人归附，必然前来阻截。
如果他们先占据险要之处，我军就很难取胜。
如今拿乜列河等人为诱饵，他们必然争来抢掠，然后我们设下伏兵，以逸待劳，就很容易打败他们。”广阳王同意他的计谋。
破六汗拔陵果然前来截击，在折敷岭上击败乜列河，俘获其全部部众。
于谨伏兵冲出，将破六汗拔陵打得大败，又将乜列河的部众全部夺回。
魏帝对此表示嘉许，任命于谨为积射将军。
孝昌元年(525)，又跟随广阳王征讨鲜于修礼。
军队停扎在白牛逻，恰逢章武王被鲜于修礼害死，于是将军队停在中山。
侍中元晏向灵太后扬言：“广阳王身为宗室，受令出征，如今竟徘徊不进，图谋非份之想。
又有于谨智谋才略非凡，是主谋之人。
当今战乱之时，恐怕已经不是陛下的忠臣了。”灵太后采纳了他的意见。
诏令在尚书省门外立榜，招募能捉拿于谨的人，许以重赏。
于谨听说了这件事，对广阳王说：“如今女主临朝，听信谗言，如果不明白殿下的清白之心，恐怕大祸很快就要临头。
请允许我到京城投案，请官府治罪，披露真心，可免掉自己的灾祸。”广阳王同意了。
于谨就跑到榜下说：“我知道这个人。”众人一块盘问他。
于谨说：“这个人就是我。”官府上报，灵太后召见于谨，非常气忿。
于谨详细表述广阳王的忠诚，又陈述了停军的情况。
灵太后的气消了一些，放了他。
不久加授别将。
二年(526)，梁国将领曹义宗据守穰城，多次侵犯边界。
于是命令于谨和行台尚书辛纂率军讨伐。
双方相持多年，打了几十次仗。
于谨升任都督、宣威将军、冗从仆射。
孝庄帝即位后，任命为镇远将军，不久转官直寝。
又随太宰元天穆讨伐葛荣，平定邢杲，任征虏将军。
跟从尔朱天光击败万俟丑奴，封石城县伯，食邑五百户。
普泰元年(531)，被任命为征北大将军、金紫光禄大夫、散骑常侍。
又随尔朱天光平定宿勤明达，讨伐夏州贼首贺遂有伐等，将其荡平，被授以大将军职。
跟从尔朱天光在韩陵山与齐神武作战，尔朱天光失利，于谨入函谷关。
贺拔岳上表求让于谨留下镇守，授卫将军、咸阳郡守。
太祖驾临夏州，任命于谨为防城大都督，兼任夏州长史。
贺拔岳被害后，太祖前去平凉。
于谨对太祖说：“魏国气数将尽，奸臣专权，群盗并起，百姓苦不堪言。
您姿仪绝世，胸怀雄才大略，远近四方都仰慕您。
希望您早作打算，以符合众人之心。”太祖问道：“凭什么这样说？”于谨答道：“函谷关以西之地，为秦、汉旧都所在，古称天府，将士骁勇，土地肥沃，西有巴蜀的富饶，北有羊马的便利。
如今假若占据要害之地，招集英雄，训练军队，鼓励农桑，足以静观时局之变化。
况且天子在洛阳，群敌环伺，如果陈述您的恳切之情，权衡形势的利害关系，请求在关西建都，天子一定会嘉许而西迁。
然后挟持天子而命令诸侯，奉天子之命以讨伐暴乱，像齐桓公、晋文公那样成就霸业，这是千载难逢的机会。”太祖十分高兴。
恰好有敕令追任命于谨为阁内大都督，于谨乘机进呈迁都关中的计策，被魏帝采纳。
不久，齐神武进逼洛阳，于谨随从魏帝西迁。
后跟从太祖征讨潼关，攻破回洛城，授为使持节、车骑大将军、仪同三司、北雍州刺史，晋爵蓝田县公，食邑一千户。
大统元年(535)，升为骠骑大将军、开府仪同三司。
这一年，夏阳人王游浪占据杨氏壁，聚众谋反，于谨将其活捉。
同年，大军东征，于谨担任先锋。
东魏将领高叔礼据守盘豆险地，屡攻不下，于谨攻克盘豆，俘获士卒一千人。
又乘胜攻克弘农，活捉东魏陕州刺史李徽伯。
齐神武兵至沙苑，于谨随从太祖，与诸将合力作战，击败齐神武，晋爵常山郡公，食邑增加一千户。
又参与河桥之战，被任命为大丞相府长史，兼大行台尚书。
稽胡主将、夏州刺史刘平反叛，于谨率军将其讨平。
授大都督及恒、并、燕、肆、云五州诸军事、大将军、恒州刺史，入朝为太子太师。
九年(543)，又随着太祖东征，于谨另外攻克柏谷坞。
在邙山之战中，大军失利，于谨率领部下假意投降，站在路的左边。
齐神武乘胜追击败军，对于谨没有戒备。
追击的骑兵过完时，于谨从后面发起攻击，敌人大惊失色。
独孤信又集合士兵在后面奋勇进击，齐神武的军队乱了阵脚，大军于是得以保全。
十二年(546)，授尚书左仆射，兼任司农卿。
等到侯景归附，请求派兵援助，太祖命令李弼率兵策应。
于谨劝告说：“侯景从小就通晓用兵的权谋，很难猜度他的真实用意。
不如暂且给他高官厚禄，观察他的动静。
如果立即派兵出援，实在不妥当。”太祖不听。
不久，重新兼任大行台尚书、丞相府长史，率兵镇守潼关，加授华州刺史，赠送禾巨鬯酒一尊，配有灌酒的玉瓒。
很快又被任命为司空，食邑增加四百户。
十五年，升任柱国大将军。
齐氏称帝，太祖出兵征讨，任命于谨为后军大都督，另外封他的一个儿子为盐亭县侯，食邑一千户。
魏恭帝元年(554)，任雍州刺史。
当初，梁元帝平定侯景之后，在江陵继位，与齐氏秘密互通使者，图谋侵略。
其兄之子岳阳王萧鮞当时任雍州刺史，由于梁元帝杀了他的哥哥萧誉，二人结下怨仇。
萧鮞依托襄阳前来归附，请求派遣军队。
于是命令于谨率兵征讨，太祖在青泥谷为于谨饯行。
长孙俭问于谨道：“如果替萧绎考虑，他将怎样行动？”于谨答道：“陈兵汉水、沔水，一举渡过长江，占据丹阳，这是上策；迁移外城居民，退守内城，加固城防，等待援军，这是中策；假若难以迁移，据守外城，这是下策。”长孙俭问：“你估计萧绎一定用哪一种策略？”于谨答：“必定用下策。”长孙俭说：“他放弃上策而用下策，这是为什么？”于谨答道：“萧氏据守长江以南，已有数十年历史。
恰值中原多有动乱，没有顾着向外扩张。
又因为我朝还有齐氏为祸，一定认为我不敢分散兵力。
况且萧绎软弱，缺乏谋略，性疑忌而少有决断。
愚民很难考虑到根本大计，都是眷恋家园，不愿迁移，要求据守外城，因此必用下策。”于谨命令中山公宇文护、大将军杨忠等人率领精锐骑兵首先占据长江渡口，切断对方的退路。
梁人在城外竖起木栅栏，长宽达六十里。
不久，于谨军至，率领全军将其包围。
梁主多次派兵在城南出战，每次都被于谨击败。
过了十六天，外城陷落。
梁主退保内城。
次日，梁主率领太子以下臣僚，两手反绑于身后，出城投降，不久全部被杀。
俘虏男女十余万人，没收其仓库珍宝。
得到宋朝的浑天仪、梁朝的日晷铜表、魏朝的相风乌、铜蟠螭趺、直径四尺周七尺的大块玉石，以及各种车辇和仪仗器物，全部上交，军队没有私下扣留。
立萧鮞为梁国君主，整顿军队凯旋。
太祖亲自来到于谨府第，在宴会上言谈极尽欢洽。
赏给于谨奴婢一千人，还有梁国的宝物和金石丝竹乐器一部，另封新野郡公，食邑二千户。
于谨坚决辞让，太祖不许。
又命令司乐创作《常山公平梁歌》十首，让乐师演唱。
于谨自己由于长期担任重任，地位和声望都很高，既然已经建立功名，就想过优闲的生活，把自己原来所乘骏马和所穿盔甲上交。
太祖明白他的用意，就说：“强敌未平，你怎么能独善其身呢？”不接受他上交的骏马和盔甲。
六官建立后，任命于谨为大司徒。
太祖驾崩后，孝闵帝年纪还小，中山公宇文护虽然接受遗命，可是名望地位向来不高，公卿们都图谋专权，互不服气。
宇文护很担忧这件事，悄悄拜访于谨。
于谨说：“我一直承蒙丞相的另眼看待，情份之深，超过骨肉。
今日之事，必须以性命相争。
倘若在大庭广众之下形成决定，您一定不要谦让。”第二天，公卿们举行会议。
于谨说：“当初皇族几临覆灭，人人争夺帝位。
丞相志在扶正补救，亲历战阵，才使得国运中兴，百姓安宁。
如今天降大祸，先帝驾崩。
继位者年纪虽幼，而中山公与其有叔侄之亲，又受先帝遗命，所有军国大事，必须由中山公裁决。”言词振奋，神色激厉，众人无不惶恐。
宇文护说：“这是我家的事，我虽然一向平庸愚昧，也万万不敢推辞。”于谨与太祖同辈，宇文护平时对他特别恭敬。
这时，于谨快步而前，说道：“您若统理军国大事，我们这些人就有依靠了。”对宇文护再行跪拜之礼。
其他人迫于于谨所为，也只得再行跪拜，此事就这样决定下来。
孝闵帝登基后，封于谨为燕国公，食邑万户，升任太傅、大宗伯，与李弼、侯莫陈崇等人参议朝政。
贺兰祥征讨吐谷浑的时候，于谨只是担任主帅之名，并未亲自出征，但是向贺兰祥传授了作战方略。
保定二年(562)，由于年老，于谨上表乞求退休，诏令不许。
三年(563)四月，诏令授于谨以三老之位。
于谨上表一再推辞，诏令不许。
又赐延年杖。
高祖亲临太学，侍奉于谨用餐，并请教治国之要。
于谨答道：“治国之本，在于忠诚，讲信用。
所以古人讲可以没有食物，可以放弃武力，但不可失去信用。
国家的兴亡，无不是由此而引起。
希望陛下牢守忠信，不要失掉它。”晋公宇文护东征时，于谨已经年老有病，宇文护因为于谨是宿将旧臣，还请他同行，向他请教作战方略。
军队回来后，赐给他钟磬一套。
天和二年(567)，又赏赐他可以坐乘的小车一辆。
不久任命他为雍州牧。
三年，在任上逝世，终年七十六岁。
高祖亲临葬礼，诏令谯王宇文俭监护丧事，赏赐杂色丝织品千段，粟麦五千斛，赠授本来官职，加授使持节、太师、雍恒等二十州诸军事、雍州刺史，谥号“文”。
安葬的时候，凡王公以下臣僚，都护送灵柩到城外。
附祭于太祖庙庭。
于谨富于智谋，善于侍奉皇上。
他名望地位虽高，但愈来愈谦退。
每次上朝往来，只有两三个骑马的随从。
朝廷凡有军国大事，大多要与于谨商量决定。
于谨也竭尽智慧才能，辅佐谐和皇室。
所以在功臣之中特别受重用，始终如一，没有人说他的坏话。
他常常教训儿子们务必要保持恬静谦退之心。
加上于谨年事已高，极受礼遇，子孙很多，都担任了显要官职，当时没有人能比得上他的。
儿子于萛嗣其爵位。