卫玄字文升，河南洛阳人。祖父卫悦，魏时任司农卿。父卫..，官侍中，左武卫大将军。
卫玄幼时有器量见识，周武帝为藩王时，引荐卫玄为记室。升任给事上士，袭爵为兴势公。周武帝即位，任命卫玄为益州总管长史，赐给他万钉宝带。不久，升任开府仪同三司、太府中大夫，摄领内史事，兼任京兆尹，时人称其强力贯通天下。
隋文帝作丞相，卫玄任检校熊州事。隋文帝受禅继位，卫玄升任淮州总管，晋封同轨郡公，因受牵连免官。不久，任岚州刺史。适逢又起修筑长城之役，诏令卫玄监督修筑长城。后来改任卫尉少卿。仁寿初年，山獠叛乱，任命卫玄为资州刺史前往镇压安抚。卫玄到任之后，山獠正围攻大牢镇，卫玄单人独骑到山獠营地，对众獠人说：“我是资州刺史，奉天子诏令安抚养育你们，你们不要惊怕。”众獠人没有人敢动。于是，卫玄向他们陈述利害，獠人主帅受到感动，十多万人缴械投降。文帝非常高兴，赐给卫玄细绢二千匹，升任遂州总管，仍令为剑南安抚使。
隋炀帝即位，又征召入京为卫尉卿。夷獠之人怀恋卫玄，相送之人几百里内不断。分别的时候，都是挥泪而去。升任工部尚书。后来任魏郡太守，仍兼任工部尚书。不久，任右侯卫大将军，检校左侯卫事。改任刑部尚书。辽东之战时，卫玄任检校右御卫大将军，率兵由增地道而出。当时各路兵马多有不利，只有卫玄全师而还。授任金紫光禄大夫。
大业九年(613)，炀帝驾幸辽东，令卫玄和代王杨侑留守京师，任命卫玄为京兆内史，仍兼任刑部尚书，允许他遇事不便上奏，自行裁处决断，敕令代王以对待师傅的礼节对待卫玄。适逢杨玄感围困东都洛阳，卫玄率领步兵骑兵七万人增援。到了华阴，发掘杨素墓冢，焚烧其尸骸遗骨，将其祖茔铲平，向士卒显示必死的决心。兵出潼关之后，有人担心崤山和函谷关之处有伏兵，请求从陕县顺流而下，直奔河阳，攻击杨玄感的后方。卫玄说：“这种计谋不是小子所能想到的。”于是就击鼓前进。过了函谷关之后，终于像他猜测的那样。卫玄就派遣武贲郎将张峻从南路进发作为疑兵，自己则亲率大军直奔城北。杨玄感率兵迎战。卫玄一边战一边行，大军在金谷驻扎下来。卫玄在军中清扫一片场地，祭祀文帝说：“如果社稷长久，应该让杨玄感这些丑类像冰块一样破碎；如果隋朝大势已去，就请让老臣先死吧！”词气激昂，三军将士莫不流涕呜咽。当时，卫玄寡不敌众，与贼兵频频作战都不利，士卒死伤大半。卫玄率兵苦战，贼兵才稍稍退却，大军进屯于北芒。适逢宇文述、来护儿等援兵赶到，杨玄感向西逃遁。卫玄派遣通议大夫斛斯万善、监门直阁庞玉为先锋追击，赶到阌乡，与宇文述等合兵击败叛军。炀帝车驾到高阳，征召卫玄到其所在的地方。炀帝慰劳卫玄说：“公真是社稷之臣啊！使朕得以没有西顾之忧。”晋升卫玄为右光禄大夫，赐给他良田、宅第，财物数万。卫玄回去镇守京师，炀帝对他说：“函谷关以西全部委托给公了。公安然无恙，国家就安然无恙；公有危险，国家也就危险了。公出入必须有兵士保卫，坐卧应该经常自我安稳。如今特意给公一千名士兵，充当侍卫随从。”和樊子盖一起，都赐给玉麒麟符节，因用以代替铜兽符节。
大业十一年，诏令卫玄安抚关中。当时，关中盗贼蜂起，百姓饥饿至死，卫玄竟然不能赈济抚恤。而官方败坏纷乱，贿赂公行。卫玄认为自己年纪已高，上表乞求告老还乡。炀帝派遣内史舍人封德彝驰往京师，告诉他说：“京师是国家的根本，是宗庙园陵的所在地，借助公卧居以镇守之。”卫玄才作罢。义师进入关中，卫玄自知不能守御，忧愁恐惧，自称有病，不理政事。京城陷落，卫玄归居家中，隋恭帝义宁中卒。