张家玉，字元子，东莞人。崇祯十六年(1643)进士，改选为庶吉士。
李自成打下北京后，他被捉拿住。曾上书给自成，请把自己家题为“翰林院庶吉士张先生之庐”，并表彰、抚恤范景文、周凤翔等人，用厚礼对待刘宗周、黄道周，尊敬地赡养史可程、魏学廉。自称他愿意像孔子一样，以殷人后裔的身份服从周朝，称自成为大顺皇帝。自成恼了，把他招进来，家玉深深作了一个揖却不肯跪拜。自成把他在午门外绑了三天，又强迫他投降，并用死刑来恫吓他，家玉最终不动摇。自成说“：我要把你爹娘都五马分尸！”家玉一听就赶紧跪下来。当时他的父母远在岭南，家玉就因此屈服了，人们都嘲笑他。
闯贼败后他回到南方来。阮大铖等人攻击他把宗周、道周推荐给闯贼，让他收拢人心，招集党羽。家玉于是遭到逮捕。第二年，南京失守，他逃回家乡。后来跟着唐王到了福建，唐王提升他为翰林侍讲，让他监督郑彩的军队。他们开出杉关，打算光复江西，解救抚州之围。
顺治三年(1646)，传闻说大清兵来了，郑彩就逃出杉关，家玉跑到新城去了。大清兵来攻打新城，家玉出来迎战，中了一箭，从马上摔下摔断了胳膊，逃进杉关去了。唐王命令他以右佥都御史的头衔去巡抚广信，而广信已经沦陷，他请求到惠州、潮州募兵，劝降了几万名山贼，打算奔赴赣州救急。正好大清兵打下了汀州，他于是返回东莞。
四年，家玉和举人韩如璜联合民兵攻打东莞城，知县郑霖投降了，于是他们抄没了前尚书李觉斯等人的家产用来犒赏士兵。才三天功夫，大清兵到了，家玉败走。这时他上表给永明王，被提升为兵部尚书。不久，大清兵来进攻，如璜阵亡了，家玉逃往西乡。他的祖母陈氏、母亲黎氏、妹妹石宝都投水自杀了，他的妻子彭氏被捉后，也不屈而死，他家乡的人被全部消灭了。西乡的一个大豪强陈文豹支持家玉占领了新安，袭击东莞，又在赤冈交战。不久，大清的大部队大举而来，攻打了几天，家玉战败，逃往铁冈，文豹等都死了。
觉斯把家玉恨透了，挖了他祖先的墓地，连家庙都给他拆毁了，全部消灭了他的族人，他家所在的乡村变成了一团废墟。家玉从故乡经过时，痛哭着离开了。路上他招集了几千名士兵，攻占了龙门、博罗、连平、长宁，接着攻打惠州，占领了归善，收兵驻扎在博罗。大清兵过来攻打他，家玉退到龙门，又招募了一万多士兵。家玉喜欢击剑，以侠客自许，跟草泽上很多豪杰有来往，因此所到之处人们都服从他。他就把招募来的兵士分为龙、虎、犀、象四营，攻取了增城。
十月，大清部队的步兵和骑兵一万多人过来攻打增城。家玉把他的队伍分作三部，犄角相救，凭据高山巨谷固守。大战了十天，兵力不支，战败了，里里外外被围了几层。将领们劝他突围出去，家玉叹息说“：箭射完了，炮震裂了，想打也没武器好打了；军官受了伤，士兵死了这么多，想打也没人能打下去了。为什么还要犹豫不决，等着用脖子上的血溅在敌人手上呢？”接着一个一个地拜别手下的将领，自己跳进野塘里死了，终年只有三十三岁。第二年，永明王追赠家玉为少保、武英殿大学士、吏部尚书、增城侯，谥文烈。他的父亲张兆龙还在世，就把儿子的爵位封给了他。