刘玉，字仲玺，磁州人。他天生体力过人，在曹吉祥家当仆人。他随军征讨麓川，被授为副千户，积功升至都指挥佥事。天顺元年(1457)，刘玉以“夺门”功进升为都督佥事，随即充任右参将，守备氵寻州。庆远蛮劫掠博白及广东之宁川，刘玉偕同左参将范信进行拦击，击败之。随即奉命分守贵州。刘玉随方瑛征讨东苗，歼灭了干把猪。又征讨西堡苗，捕获其首领楚得。先后斩杀一千人，捣毁其巢穴而返。刘玉旋即改任右副总兵，镇守贵州。曹吉祥被诛，刘玉作为他的下属而应当斩首。因为相隔遥远，刘玉没有参与其图谋，被免除死罪，贬为海南副千户。
六年(1462)，皇上将要任命谷登为甘肃副总兵。李贤说谷登不能胜任，刘玉则老成持重。于是皇上重又任命刘玉为都督佥事、右副总兵，镇守凉州。咎咂族发动叛乱，刘玉聚集军队讨平之，因此进升为都督同知。
成化四年(1468)，满俊扰乱固原，白圭举荐刘玉为总兵官，统领左右参将夏正、刘清前往征讨，兵分七路。刘玉与总督项忠抵达石城时，乱贼已屡败官军。又逢毛忠战死，刘玉也被包围，被飞箭射中，拼力作战才得以冲出重围。与乱贼相持两月，经过大小数十上百战，终于平息了叛乱。刘玉进升为左都督，掌管右府事务。他又自陈以往西堡之功，而被增加俸禄百石，并掌管耀武营。六年，刘玉充任左副总兵，随朱永出延绥。五月，河套部队入侵，刘玉率众将其击退。一年之后，刘玉去世。被赠为固原伯，谥号毅敏。
刘玉虽出身奴仆，但勇决过人，善于安抚士卒，所至之处从未失败过。满俊叛贼，凭借石城之险，屡败官军，刘玉战得最猛。等到论功时，他却只官升一级，当时人们都觉得朝廷赏赐太薄。其子刘文，承袭指挥使之职。