张玄素，蒲州虞乡县人。出仕隋朝，任景城县户曹。窦建德攻陷景城后，捉住他准备杀掉，城里一千多人哭喊着要求代替他死，说：“这是位清官，杀他就没有天理了。大王您要夺取天下，就别让好人灰心失望。”窦建德命令松绑，任命他为代理治书侍御史，他不接受。听见炀帝在江都被杀后，才替窦建德任黄门侍郎。窦建德灭亡后，唐朝任命他为景州录事参军。
太宗李世民登位，向他询问朝政大事，他回答说：“自古以来还没有像隋朝那样动乱的原因，怕是君主专制独裁、法纪日益混乱吧？再说一个大国的君主，亲自处理日常事务，一天处理十件，其中五件不恰当，就算另外五件确实妥善，跟处理不恰当的综合起来评价又怎样呢？
日理万机，问题成堆，不亡国还等什么？
如果国君圣明臣子得力，使各主管官吏尽职尽责，那么在朝廷无为而治，谁敢冒犯？隋朝末年叛乱四起，真正要争夺天下的不到十人，其他的都是要保全自己等有道君主出现再听命令，这说明要背叛君主乘机牟利的人到底是少数，只是国君不能使他们安居乐业才被裹挟叛乱。凭着陛下的圣明，对隋朝危难的原因做番研究，把它灭亡的教训作为鉴戒，一天比一天谨慎从事，即使是唐尧虞舜又凭什么超过？”太宗说“：好。”任命他为侍御史，后来改任给事中。
贞观四年(630)，诏令征调兵众劳役修建洛阳行宫乾阳殿，准备游幸东都。
张玄素上书说：“我想秦始皇凭借周朝的衰微，消灭六国，统一天下，准备传给子孙万代，却到他儿子的手里就灭亡了的原因，是满足嗜好追求欲望，以致违背天理伤害人民。百姓承受不了，只应厉行节约，减轻赋税，以身作则，才能天下太平。
“如今游幸东都的时间还没确定，就提前大兴土木，外戚亲王到封地去，也会修建官府宅第，派收捐税征调劳役接连不断，就会使百姓疲惫失望，这是不行的原因之一。陛下从前平定东都时，曾把宽广的宫殿当作警戒都拆毁了，天下人心归向，齐声颂扬。怎能开始厌恶奢侈浪费后来又爱好雕饰华丽呢？这是不行的原因之二。陛下常说游幸不是当务之急，是白白耗费资财。现在国库的存粮不够两年食用，又要兴建陪都的工程来招致怨恨，这是不行的原因之三。百姓在遭受战乱流离以后，财物已经耗尽，虽然蒙恩再生，情绪还没有稳定，怎能营建还没有游幸的陪都，重新耗费他们的物力人力，这是不行的原因之四。汉高祖准备建都洛阳，娄敬一番劝谏，当天就动身到长安去。并不是不明白洛阳地处中原，交通方便人口集中，但是地势赶不上关中有利，就不敢追求安乐。我想陛下消除隋朝的陋习，时间还不长，怎能巡幸东都让民心动荡不安？这是不行的原因之五。
“我曾亲眼见过隋朝建造宫殿，到豫章县采伐木材，两千人拖一根木头，用铁做车毂，走不到几里路，车毂就损坏了，另外有几百人带上车毂跟着，一天走不了三十里路。一根木头的耗费，已达几十万个日工，推算一下其他各项就可知耗费何等巨大了。从前阿房宫建成了，秦朝就垮台了；章华台建成了，楚灵王的称霸企图也破产了；乾阳殿完工了，隋朝也分崩离析了。如今百姓的物力人力还没有赶上隋朝，却驱使伤残的百姓，沿袭隋朝的弊端，我怕陛下的过失，比炀帝更为严重。”
太宗说：“你说我不如隋炀帝，比起夏桀、纣王怎么样？”张玄素回答说：“如果乾阳殿真的动工，都一样会天下大乱。
我听说东都刚平定时，太上皇诏令将不合制度的宫殿烧掉，陛下说砖瓦木料可以利用，要求送给贫寒人家，事情虽然没有如愿，天下百姓称为大德。现在又要在那里测地修建宫殿，这表明又要兴修隋朝一样的工程。不到六年时间，一会儿毁掉，一会儿修建，百姓会怎样议论呢？”太宗回头对房玄龄说“：让各地到洛阳朝拜进贡比较适中，我建乾阳殿，是想方便天下臣民。现在张玄素的意见是这样，假使以后一定要去，即便坐在露天，怎能感到辛苦？”立即停止了这项工程，赏给张玄素彩色绢帛两百匹。魏征以刚直闻名，听到张玄素的话，赞叹说“：张公评论朝政，具有谏止皇上的力量，可以说是真诚正直人的话啊。”
张玄素任太子詹事，改任太子右庶子。当时太子李承乾老是出游打猎，不爱读书，张玄素上书说：“天意不讲关系亲疏，只是帮助有德的人。如果违背天意，百姓神灵都会抛弃他。古人在三种情况下打猎，并不是倡导杀生，而是为民除去兽害。如今却把打猎当作娱乐，毫无节制，不是有损大德吗？《左传》说：‘办事不效法古人，不是我听到过的。’那么探求真理在于向古人学习，学习古人在于听老师教导。孔颖达秉承诏令讲学劝勉，应当经常找他请教，多少是有帮助的。广泛挑选德才兼备的优秀人物，早晚在身边侍候，一起研讨。每天学到不懂的知识，每月不忘已学到的东西，这才是美事了。
“治理百姓的人总是希望替百姓做好事，但是习性不能达到这种愿望，沉迷玩乐造成祸患，下边的人再一阿谀奉承，君子的德行就会招致损害。古人说过：‘别认为错误微小而不改，好事微小而不做。’祸福的形成，都在开始埋下根源，始终如一地坚守正道，还怕丢失了，开始就不守正道，最后怎么安身立命？”
承乾太子不听。又上书说：“周公姬旦具有圣人的资质，却在洗回头发吃餐饭时，多次停下去接待来客，谦恭地对待平民，何况我们这些秉赋不如周公的人呢？殿下的颖睿资质天然生成，还必须靠学习来发扬光大。孔颖达、赵弘智都是德高望重才能杰出的老人，并且懂得政治谋略，希望经常召见他们，讲述古今事理，完善陛下的美德。诗辞歌赋，只能偶尔为之，交替下棋，不应经常地干。骑马射箭打猎游玩，轻浮嬉戏沉溺歌乐，好听好看，搅乱性情，不能接受。人的思想是一切行为的主宰，行为不受思想节制就会混乱，败坏道德的根源，实质上就在这里。”
太宗知道张玄素多次节制校正太子的过失，接连提升他为银青光禄大夫，兼任太子左庶子。
太子长时间不愿会见宾客朋友，张玄素说“：东宫里接触的只是妇女，不知道像春秋时楚庄王的夫人樊姬一样能够帮助光大聪明道德的有几人？如果没有，就是些巧言逢迎行为不正容貌妖冶受到宠幸的人，哪里值得看一眼啊？皇上考虑到太子的重要，提高规格安排德才兼备的担任辅佐的下属，如今他们却不能进宫拜见，将怎样早晚进献谏诲，弥补遗漏呢？”太子忌讳他的严厉，派看门的奴仆在夜间用马鞭猝不及防地抽打他，危险得只是逃了一命。有一次听到东宫里敲鼓，张玄素叩门规劝，太子搬出鼓来，当着他的面摔破了。太子不愿改正，丑恶的行为天天传出。张玄素不得已，上书说：“孔子说：‘能够就近找到事例，可以说是仁人的办法。’历史书籍资料上记载的事例，有的显得遥远，请让我用近代的事例来说明道理。北周武帝宇文邕平定山东后，住房低矮、饮食粗劣来使天下安宁，但太子宇文斌贝有污秽行为，乌丸轨报告了武帝，武帝慈爱不忍心废除他。他即位后，放荡暴虐愈演愈烈，帝位因此丢失，隋文帝取代的就是他。隋文帝吸取北周灭亡的教训，凭借微弱的资质，虽然对老百姓没做大好事，但是布施恩惠，上下臣民安定有靠。杨勇立为太子，骄奢放纵败坏法度，如今宫里的假山水池是殿下亲眼看到的。在这时，自己以为天下稳如泰山，哪知奸臣们不敢说出真实情况呢？如果行为遵守规则，举止按照法度，亲近君子，疏远小人，废除虚浮奢华，坚持谨慎节俭，即使有人挑拨离间，怎会招致慈父的怨恨呢？这是因为积久的行为不干净，美好的名声不明显，一遭受谗言攻击，就造成自己的祸患。
“如今的皇上因和殿下有父子的亲情，所以东宫的费用不予限制，但是颁布这个诏令还不满六十天，费用却超过了七万，骄纵奢侈没有限制，谁超过了这种程度？龙楼、望苑，是工匠们的集市，既不便于伺候父皇母后，又不利于勤奋学习知识。对上违背父皇母后教训的原则，在下会出招致刑罚侮辱的罪错。殿下布施接济的，不是乌七八糟的游荡汉，就是绘画雕刻的手艺人。表面看到的，这些过失已很明显，里头隐藏的，还能说得完吗？太子右庶子赵弘智通晓经术，修养德行，我认为应当经常召见，以便扩大好的声誉；现在反而猜忌，说是推荐得不恰当。随时听取忠言，还担心来不及，掩饰错误拒绝劝谏，灾祸能避免吗？”
谏札呈进东宫，太子发怒了，派刺客伺机暗杀他。碰上李承乾的太子身份被废除，张玄素牵连获罪罢官成为平民。
过了不久，招回任命为潮州刺史，又迁移到邓州，直到最后不再受到太宗亲近。
高宗李治时期，告老辞职。麟德初年去世。
当初，张玄素和孙伏伽在隋朝都任令史，太宗有一次问张玄素当官的履历，羞愧得他满头大汗。褚遂良拜见太宗说“：君子不对别人妄加评论，明君不对臣子乱开玩笑。所以他们的话就载入史册，完善礼仪，受到颂扬。国君能够尊重他的臣子，臣子就会竭尽全力侍奉国君。
南朝的宋武帝刘裕侮辱嘲弄朝臣，攻击他的门第出身，直到人家羞愧恐惧狼狈不堪，前代的史官认为不对。陛下昨天问张玄素在隋朝担任什么官职，他回答说‘：县尉。’陛下又问他没任县尉之前当的什么，回答说：‘九品之外。’还问他在哪儿当差，张玄素出殿时脚都挪不动，脸色死人般地灰白，神情痴呆，看到他的人都一样惊讶奇怪。唐朝开创帝业，任用官吏只讲才干，巫师雇工，都按专长一并使用。陛下把张玄素提升为三品朝臣，辅佐太子，怎能又当着众位朝臣的面使他无话可答，受到屈辱，想要他以死坚守节义，怎能办得到呢？”太宗说：“对这事我也后悔。”孙伏伽即使是在大众场合，陈述已往的经历，没有一点儿隐讳。