张曜，字灵光，上谷昌平人。从小就待人忠贞谨慎。韩轨被御史弹劾，州府的官吏以及韩轨的亲信因贪赃触犯法律的一百多人，惟有张曜因清廉免于处罚。天保初年，朝廷给他封爵为都乡男，逐步升迁，官至尚书右丞。文宣帝曾经出宫到近处走动，命他留守。文宣帝夜晚归来，他不让开门，命令士兵严加防守。文宣帝在大门外等了很久，催促得十分紧急，他以夜深天黑为理由，提出要用火把照一照面部，认出是文宣帝后才把门打开。他单独出来叩见文宣帝，文宣帝笑着说：“你想效法东汉忠于职守的郅恽吗？”便让他开门，然后进来。对他大加赞赏，赐给他许多锦缎。太宁初年，他迁任秘书监。
张曜任职历经几位皇帝，奉职忠诚谨慎，从未有过过失。每次得到俸禄和赏赐，都分送给宗族中的人。他节俭简约，车子、衣服、饮食，仅仅够用而已。喜欢读《春秋》，每月一定看一遍，人们把他比作汉代的贾逵。赵彦深曾对他说“：你研习《左氏春秋》，怎么能沿袭杜预、服虔错误的成说呢？”他答道“：为何要这样说呢？《左氏春秋》一书，详细地叙述一代史实，邪恶的人可以用来警戒自己，善良的人可以察觉自己微小的过失。所以，为了勉励自己，我才不断温习，不是想诋毁前人的得失啊。”
天统元年(565)，他到朝廷奏事，暴病突发，摔倒在后主的御座前面，后主(按：原文误为武成)走下座位亲自看视他，呼喊他也不答应，便哭着说“：我失去了一位优秀的大臣啊！”过了十多天去世，追赠为尚书右仆射，谥号为贞简。