卫玄出身于官宦世家，其祖父卫悦、父亲卫扌剽皆是西魏、北周时期官员，卫悦官至司农卿，卫扌剽官至侍中、左武卫大将军。

卫玄少时有器量见识，北周武帝宇文邕做藩王时，引荐卫玄担任记室。卫玄后来升任给事上士，继承兴势公的爵位 ，食邑四千户。后改任宣纳下大夫。

武成二年（560年），北周武帝继位后，任命卫玄为益州总管长史，赐给万钉宝带。不久，升任开府仪同三司、太府中大夫，代理内史事，兼任京兆尹，时人称其强力贯通天下。

北周宣帝宇文赟在位时，卫玄由于忤逆圣旨而遭罢免官职。

隋文帝杨坚担任北周丞相时，卫玄担任代理熊州刺史。 当时和州的蛮人反叛作乱，卫玄以行军总管的身份平定叛乱。 仁寿四年（604年），隋文帝去世，太子杨广继位，是为隋炀帝。隋炀帝继位后，征召卫玄入朝担任卫尉卿。夷人、獠人怀恋卫玄，相送之人几百里内不断。卫玄晓谕他们说：“天子下诏调我回京，我不能久留。”于是与他们告别，夷人、獠人都挥泪而去。

大业二年（606年）七月初一日，卫玄担任工部尚书。后来改任魏郡太守，仍兼任工部尚书。隋炀帝对卫玄说：“魏郡是有名的都市，是要冲之地。那里的百姓很奸刁，所以麻烦你去治理。这个郡离首都并不太远，你应该常回京师，参谋朝政。”赐给他布帛五百段，让他前往赴任。大业四年（608年）正月二十九日，隋炀帝任命卫玄为右侯卫大将军 ，代理左侯卫大将军之事。

大业八年（612年）正月十五日，卫玄担任刑部尚书。 同年六月，隋炀帝发兵东征高句丽，卫玄担任代理右御卫大将军，率军由增地道出发，与众将在鸭绿江西面会合。 七月，当时各路兵马大多出师不利，有所伤亡，唯独卫玄一军的兵众全部返回。 授任金紫光禄大夫。 大业九年（613年）正月，隋炀帝驾幸辽东，命卫玄等人辅佐代王杨侑留守东都洛阳，并任命卫玄担任京兆内史，仍兼任刑部尚书，允许他遇事不便上奏，可自行裁处决断，敕令杨侑以对待老师的礼节对待卫玄。

同年六月，礼部尚书杨玄感起兵造反，围困东都洛阳。杨侑派卫玄率领步兵、骑兵七万人援救洛阳（一说率兵四万援救洛阳）。卫玄军到华阴后，挖掘杨玄感之父杨素的坟墓，焚烧其尸骸遗骨，将其祖茔铲平，向士卒们表明必死的决心。兵出潼关之后，有人担心崤山和函谷关之处有伏兵，请求从陕县沿黄河顺流东下，直奔河阳，攻击杨玄感的后方。卫玄说：“依我看来，这种计谋不是杨玄感那小子所能想到的。”于是就击鼓前进。出崤山、渑池，过函谷关后，正如他所猜测的那样，果真没有伏兵。卫玄派武贲郎将张峻从南路进发作为疑兵，自己则亲率大军直奔洛阳城北。杨玄感率军迎击卫玄，卫玄率军且战且走，在金谷驻扎军队。

卫玄在军中清扫一片场地，祭祀隋文帝说：“刑部尚书、京兆内史臣卫文升，冒昧地昭告于高祖文皇帝的神灵：自从皇家承受天命，到现在三十多年，武功文德，渐渐影响海外。杨玄感辜负圣恩，自作蛇豕，蜂飞蚁聚，犯我王师。臣下我两代受恩，一心侍奉国家，统率熊罴之众，志在剿灭逆党。如果社稷长久，应该让杨玄感这些丑类像冰块一样破碎；如果隋朝大势已去，就请让老臣先死吧！”卫玄词气激昂，三军将士莫不流涕呜咽。

卫玄率领步兵、骑兵两万人渡过瀍水，与杨玄感军交战。杨玄感屡次击败卫玄。当时，杨玄感拥有近十万兵众，卫玄由于寡不敌众，部下死伤大半，军力将近耗竭，于是他率军进驻邙山的南面。杨玄感率领全部精兵前来进攻，卫玄率军与杨玄感决战。一天之内双方交锋十余次，恰巧杨玄感之杨玄挺身中流箭而死，杨玄感的军队才稍稍退却 ，卫玄进而驻军邙山的北面。恰逢宇文述、来护儿等援兵赶到，杨玄感惧怕，因而向西逃走。卫玄派遣通议大夫斛斯万善、监门直阁庞玉为先锋追击，赶到阌乡，与宇文述等合兵击败叛军。 隋朝末年，隋炀帝统治残暴，民不聊生，爆发大规模农民起义。义宁元年（617年）五月，太原留守李渊起兵反隋。八月，李渊率领义军进入关中。当时卫玄已年老，闻知李渊率军向长安进发，自知不能守御，忧愁恐惧，自称有病，不再参预政事。 十月，李渊屡次派使者到长安城下对卫玄等人宣称自己是尊奉隋朝皇室，并无反叛之意，卫玄等人不作答复。 十一月，李渊军队攻陷长安，卫玄归居家中。同月，卫玄去世 ，时年七十七岁。