道士王远知，本琅琊人也。父昙选，除扬州刺史。远知母，驾部郎中丁超女也，常梦彩云灵凤集其身上，因而有娠。又闻腹中声。沙门宝诰谓昙选曰：“生子当为神仙宗伯。”
远知少聪敏，博综群书。初入茅山，师事陶弘景，传其道法。及隋炀帝为晋王，镇扬州，起玉清玄坛，邀远知主之，使王子相、柳顾言相次召之。远知遂来谒见，斯须而须发变白，晋王惧而遣之。少选又复其旧。唐高祖之龙潜，远知尝密陈符命。武德中，秦王世民与幕属房玄龄微服以谒远知，远知迎谓曰：“此中有圣人，得非秦王乎？”
太宗因以实告，远知曰：“方作太平天子，顾自爱也。”太宗登极，将加重位，固请归山。贞观九年，润州茅山置太平观，并度二七人，降玺书慰勉之。后谓弟子潘师正曰：“见仙格，以吾小时误损一童子吻，不得白日升天。今见召为少室山伯，将行在即。”
翌日，沐浴加冠衣，焚香而卒，年一百二十六岁。谥曰升玄先生云。