魏玄字僧智，任城人。
六世祖魏休，在晋朝担任鲁郡守。
永嘉年间南迁，定居江东。
父亲魏承祖，在魏景明年间，从梁国回到魏国，定居新安。
魏玄从小意气风发，有胆气谋略。
普泰年间，授奉朝请。
多次随军与梁人作战。
永安初年，以战功授征虏将军、中散大夫。
魏孝武帝西迁后，东魏向北迁移，人心动乱，各有打算。
魏玄率领招募的部属，在函谷关以南举起义旗，随即跟从韦法保在关口与东魏司徒高敖曹作战。
独孤信入据洛阳后，魏玄隶属行台杨琚，防守马渚。
又与高敖曹交战。
从此多次率领乡兵，抵抗东魏。
前后十余战，都立下功劳。
在邙山之战中，大军失利，宜阳、洛州都归属东魏。
在崤关以东反抗东魏的人，都产生了不同想法。
魏玄的母亲、弟弟都在宜阳。
魏玄认为忠孝无法两全，就率领部属回到函谷关以南镇守。
太祖亲自写信慰问他，授洛阳令，封广宗县子，食邑四百户。
大统十三年(547)，与开府李义孙攻克伏流城，又攻克孔城，随即与李义孙共同镇守。
不久又镇守伏流。
十四年，授帅都督、东平郡守，转任河南郡守，加大都督衔。
十六年，洛安百姓雍方隽占据郡城叛乱，率领步兵、骑兵一千人，自称行台，攻陷郡县，囚禁郡守县令。
魏玄率领弘农、九曲、孔城、伏流四城兵马将其讨平。
魏恭帝二年(555)，授车骑大将军、仪同三司。
孝闵帝登基，晋封伯爵，食邑增至九百户。
保定元年(561)，镇守蛮谷。
四年，升任骠骑大将军、开府仪同三司，镇守阎韩。
又跟随尉迟迥围攻洛阳。
天和元年(566)，陕州总管尉迟纲派魏玄率领仪同宇文能、赵乾等步兵、骑兵五百人，在鹿卢交以南，截击东魏洛州刺史独孤永业。
独孤永业拥有二万余人，魏玄轻装，率领五名骑兵前去侦察，突然与敌人遭遇，立即交战，杀伤数十人，缴获马匹、甲胄、长矛等，独孤永业退去。
二年，晋封侯爵。
授白超防主。
三年，升任熊州刺史。
施政简切仁惠，受到百姓爱戴。
四年，转任和州刺史、伏流防主，晋封公爵。
五年，齐国将领斛律明月率军进攻宜阳，兵势很盛，魏玄率军抵抗，每战必胜。
后来因病在任上去世。