尚书。
稽胡帅夏州刺史刘平叛乱，于谨率兵讨伐平定了他。
因功任大都督、恒并燕肆云五州诸军事、大将军、恒州刺史，入任太子太师。
大统九年，于谨又跟宇文泰东出征讨，进攻柏谷坞，大胜。
同年，东西魏爆发邙山之战，西魏军失利，于谨率领他手下的兵马假装投降东魏，站在路旁。
高欢的军队乘胜追击逃兵，不曾戒备。
等追击的骑兵过完了，于谨就从后面攻击他们，东魏军惊慌失措。
独孤信又聚集兵士在后奋力冲杀，高欢的军队就乱了起来，因此西魏军得以保全。
大统十二年，于谨任尚书左仆射，领司农卿。
到侯景归附西魏时，请求西魏派兵作为支援，宇文泰命李弼带兵接应他。
不久宇文泰又让于谨兼任大行台尚书、丞相府长史，带兵镇守潼关，加授华州刺史。
不久任司空，增加食邑四百户。
大统十五年，于谨升为柱国大将军。大统十六年，高欢之子高洋篡位称帝，建立北齐，宇文泰出兵征讨，任命于谨为后军大都督。
另封他的一个儿子为盐亭县侯，食邑一千户.西魏恭帝元年，任雍州刺史。
当初，南朝梁元帝萧绎平定侯景之乱，在江陵继位，秘密与北齐通使，打算侵犯西魏。
梁元帝兄长的儿子岳阳王萧詧当时任雍业刺史，因为梁元帝杀死了萧詧的哥哥萧誉，双方就结下怨仇。
萧詧占据着襄阳前去归附西魏，并请求西魏派兵支援。
西魏恭帝元年，西魏朝廷就命于谨率兵出征，宇文泰在青泥谷为他饯行。
于谨于是派中山公宇文护和大将军杨忠等人，率领精锐骑兵先占据长江渡口，切断梁人出逃的道路。
梁人在外城竖立木栅，周围六十里。
不久于谨就到了，将军队全部调来把城围起来。
“梁元帝多次派兵在城南出战，立即就被于谨打败。”
“围了十六天，外城陷落。梁元帝退守子城。”
“第二天，梁元帝率领太子以下的臣民，反绑着手出城投降。”
“于谨俘虏了南梁男女十多万人，收缴了府库中的珍宝。”
“得到南朝宋的浑天仪、南梁的日晷铜表、曹魏的相风乌、铜蟠螭趺、直径四尺周围七尺的大玉和那些舆辇法物都带回献上，军队没有私占财物。”
“立萧詧为梁国皇帝，整顿部队凯旋而归。”
““宇文泰亲自到他的第宅，和于谨饮宴笑谈极为欢洽。”
“赏赐于谨奴婢一千口，还有南梁的宝物，以及金石丝竹乐一部，另外加封新野郡公，食邑二千户。”
“于谨坚决推辞，宇文泰不准许。”
“叉命乐官作了十首《常山公平梁歌，叫乐工歌唱。”
“于谨自认为长期掌握权势，地位声望隆重，功名既已建立，情愿保住悠闲的生活，就把他所乘的骏马和所穿的销甲等献上。”
“西魏恭帝三年正月，六官制度建立，于谨任大司徒。”
“西魏恭帝三年十月，宇文泰去世，宇文泰世子宇文觉还幼小，中山公宇文护虽然接受了宇文泰的临终遗托。”
“但名望地位向来低下，各位王公大臣们都图谋执掌朝政，没有谁肯顺服他。”
“宇文护很是担忧，私下找于谨请教。”
“王公大臣们受到于谨的逼迫，也跟着跪拜了两次，因此大家的意见才确定下来。”
“北周孝闵帝元年，宇文护拥立宇文觉为帝，建立北周，史称孝闵帝，于谨被进封为燕国公，食邑一万户。”
“升任太傅、大宗伯，和李弼、侯莫陈崇等人参议朝政。”
“到贺兰祥讨伐吐谷浑时，于谨遥领军队，教授策略。”
“保定二年，于谨因年老，上表请求辞去官职。”
“周武帝前往大学为他馈食。三老入门，周武帝在大门和屏风之间迎拜，三老回拜。”
“有关官员在中楹设置三老的席位，面向南方。”
“太师、晋国公宇文护登上台阶，在席前设置几案。”
“三老入席，向南紧靠几案坐下，以老师的身份自居。”
“大司寇、楚国公豆卢宁登上台阶，把于谨的木屐放正。”
“周武帝登上台阶，站在画着斧头的屏风之前，面向西方。”
“有关官员递上菜饭，周武帝跪着摆设酱碟，亲自卷袖露臂切肉。”
“三老进食完后，周武帝又亲自跪着递送漱口的酒。”
“有关官员撤掉了筵席。周武帝面向北面站立着向于谨请教治国之道。”
“保定四年，晋公宇文护出兵东伐北齐，于谨当时已经因年老病倒，宇文护因为他是宿将旧臣，仍请求他一同前往，在军事战略上请教他。”
“大军回来，赐给他钟磬一部。”
“