卫玄字文升，河南洛阳人。

祖父卫悦，西魏司农卿。

父亲卫扌剽，侍中、左武卫大将军。

卫玄小时即有才气见识，北周武帝为藩王时，召卫玄任记室。

升任给事上士，承袭兴势公的爵位，食邑四千户。

转任宣纳下大夫。

周武帝总理国政后，授卫玄为益州总管长史，赐给他万钉宝带。

稍有升迁，到任开府仪同三司、太府中大夫、兼管内史事，仍兼任京兆尹，有强干之名。

周宣帝时，卫玄因忤逆圣旨而被免除官职。

隋高祖作北周丞相，卫玄代理熊州刺史。

和州蛮人反叛，卫玄以行军总管身份打平了他们。

高祖受禅后，卫玄升任淮州总管，晋封同轨郡公爵。

后坐罪免职。

不久，拜授岚州刺史。

碰上大修长城的劳役，有诏让卫玄监督。

不久代理朔州总管，后任卫尉少卿。

仁寿初年，山獠造反作乱，卫玄出京当资州刺史，以镇守安抚那里。

卫玄到任后，当时山獠正在围攻大牢镇，卫玄单人独骑到獠人的兵营，对獠人说：“我是刺史，奉皇上圣旨来安抚你们，不要怕。”诸贼不敢动。

卫玄于是晓以利害，獠人的渠帅受了感动，解围而去。

前后归顺的獠人有十几万人。

高祖十分高兴，赐卫玄缣纟采二千匹，授他为遂州总管，仍让他安抚剑南。

炀帝即位，又调他当卫尉卿。

夷人、獠人舍不得他走，都来送行，几百里的路上，送者不绝。

卫玄晓谕他们说：“天子下诏书调我回去，我不能久留。”于是与他们告别，夷人、獠人挥泪而去。

过了一年多，转任工部尚书。

其后拜授魏郡太守，仍旧担任工部尚书。

炀帝对卫玄说：“魏郡是有名的都市，是要冲之地。

那里的百姓很奸刁，所以麻烦你去治理。

这个郡离首都并不太远，你应该常回京师，参谋朝政。”赐他缣纟采五百段，而派他去。

不久，拜授右侯卫大将军，代理左侯卫大将军之事。

大业八年(612)，转任刑部尚书。

辽东战争中，他代理右御卫大将军，率部出增地道。

当时各路人马大多出师不利，只有卫玄所部全部回来。

拜授卫玄为金紫光禄大夫。

大业九年(613)，炀帝到辽东，派卫玄与代王杨侑留守京师，拜授卫玄为京兆内史，仍旧担任刑部尚书，同意卫玄见机行事，又令代王待卫玄为老师。

碰上杨玄感围逼东都洛阳，卫玄率领步兵、骑兵七万人马增援东都。

部队来到华阴，挖了杨素的坟墓，焚烧了他的骨头，把坟地全部铲平了，以显示必死的决心给士兵看。

出了潼关，有人担心崤山、函谷关之间有埋伏，请从陕县沿黄河东下，直奔河阳，以进攻叛军的背后。

卫玄说：“以我看来，这一计谋不是杨玄感那小子所想得出来的。”于是击鼓前进。

过了函谷关，真如所预料的没有伏兵。

卫玄于是派武贲郎将张峻为疑兵，走南道，卫玄率统大部队奔向城北。

杨玄感迎战，卫玄边战边走，驻军于金谷。

他在军中扫地以祭高祖说：“刑部尚书、京兆内史臣卫文升，冒昧地昭告于高祖文皇帝的神灵：自从皇家承受天命，到现在三十多年，武功文德，渐渐影响海外。

杨玄感辜负圣恩，自作蛇豕，蜂飞蚁聚，犯我王师。

臣下我两代受恩，一心侍奉国家，统率熊罴之众，志在剿灭逆党。

如国运尚在，应让丑类冰碎；如国运完了，则让我老臣先死。”他语气抑扬，三军感动，无不呜咽。

当时卫玄寡不敌众，与贼人频频作战，频频失利，死伤大半。

杨玄感率全部精兵来进攻，卫玄苦战，贼人稍稍退却。

卫玄进而驻军北芒。

刚好宇文述、来护儿的援兵赶到，杨玄感惧怕，因而向西逃走。

卫玄派通议大夫斛斯万善、监门直阁庞玉两人为前锋，追赶叛军，赶到阌乡，与宇文述等合击破敌。

炀帝回到高阳，调卫玄到行宫去。

炀帝慰劳他说：“你是国家的大臣，使我无西顾之忧。”于是下诏书说：“近来妖雾充斥，搅动关、河。

文升率领义师，应机赴敌，在华山黄河一带，奋勇杀敌，打败凶丑。

应该下令奖赏，授他为右光禄大夫。”赐给他良田、府第、物资巨万。

他回来镇守京师长安，炀帝对他说：“关西就全部交给你了。

你安全，国家就安全；你危险，国家也危险。

出入要有卫兵防卫，坐卧都要关好门。

勇士注重防身，就是这个意思。

现特给你一千兵卒，以补充你的卫队。”赐给他玉麟符。

大业十一年(615)，有诏让卫玄安抚关中。

当时反贼蜂起，百姓饥荒，卫玄竟不能救助，而官府腐败，公开行贿。

卫玄自因年老，上表请求退休。

炀帝派使者、内史舍人封德彝去对他说：“京师长安，是国家的根本，是王业的根基，宗庙园陵所在的地方。

借你这个老帅，睡在那里镇守。

我为国家考虑，不能同意你退休。

所以派德彝去，口述我的旨意。”卫玄才作罢。

大唐义军入关，卫玄自知不能守住长安，又忧又怕，自称有病，不管政事。

长安攻陷后，他回到家里。

义宁年中去世，时年七十七岁。