范云字彦龙，是南乡舞陰人，晋朝平北将军范汪的第六代孙。六岁时，在路上遇见豫州刺史殷琰，殷琰认为他人才出众，邀请他来作客。范云在问答应对时很有风度文采，旁若无人。殷琰让他作诗，提起笔来立刻写成，在座的人都很赞叹。范云曾经在亲戚袁照家里学习，昼夜从不懈怠。袁照拍着他的背说：“你精神秀丽明朗又肯勤奋学习，是个做卿相的人才！”范云在少年时便机智锐敏，对人对事都有自己的见解，善于作文章，熟悉书信的款式，一落笔便完成，从来不打草稿，当时的人们都认为是他事先便构思好的。父亲名抗，做郢府参军，范云当时跟着父亲在府里，这时吴兴人沈约、新野人庾杲之和范抗同在府中任职，他们见到范云便把他当成朋友对待。
范云一开始任西曹书佐，转任法曹行参军。不久沈攸之反叛发兵围攻郢城，范抗这时任郢府长流，进城担任防务，家属都留在城外。范云被沈攸之的军人捉到，沈攸之召来范云同他谈话声色很严厉，范云表情毫不畏惧，从容答对。攸之听了笑道说：“你一定是一个让人可心的孩子，暂时回家去吧。”第二天，又召来范云命令他去城里送信。城里的守军有的要杀死他，范云说：“我母亲年老弟弟幼小，他们的性命都悬在沈氏手里，假如我违抗他的命令不来送信，我的亲人就必定要受害，今天我为了送信丧命，心甘情愿。”长史柳世隆平素和范云友好，于是便免了范云的死刑。
齐武帝建元初年，竟陵王萧子良做会稽太守，当范云开始随竟陵王时，竟陵王还不了解范云的才智。等到竟陵王到秦望山游览时，他让人们识别辨认石刻上的古文字，当时没有人认识，惟有范云能够诵读刻石文辞，竟陵王很高兴，从此对范云的宠信高过府中的其他人。竟陵王转任丹陽尹，召范云来做主簿，对他十分亲近信任。一次进见齐武帝时，正值有来献白乌鸦的人，齐武帝问这是什么祥瑞，因为范云的职位低下，最后他回答说：“我听说，帝王敬祀宗庙，就有白乌鸦到来。”当时武帝刚刚拜谒过祖庙，说：“你的话是对的。天意和人事相互感应的道理，竟然会是这样神妙啊！”调范云补做征北南郡王刑狱参军事，兼任主簿不变，升迁做尚书殿中郎，萧子良做司徒，范云又补做记室参军事，不久授官做通直散骑侍郎，兼任本州大中正。后出任零陵郡内史，在任期间洁身奉己，减免烦苛的政令，免掉多余的费用，使百姓得到安定。齐明帝召范云回京，到来后，授官散骑侍郎。又出任始兴内史。郡里有很多豪猾大姓，凡是他们不中意的太守，他们密谋一同加以杀害，不然就把太守赶走。边界和蛮俚部落相连，盗贼尤其众多，前任的内史都是身佩兵刃用来自卫。范云来到始兴境内，用恩德抚恤百姓，撤除边境的哨所，商贩可以露宿过夜，郡中人称赞范云是神明。又晋升做假节、建武将军、平越中郎将、广州刺史。起初，范云同尚书仆射江..友好，江..的姨弟徐艺做曲江县令，江..把徐艺托付给范云请求关照。有个名叫谭俨的人，是曲江县的豪族，徐艺曾罚他受鞭刑，谭俨认为受了羞辱，便到京城上诉范云的罪状，范云因此被召回，入狱，逢上大赦免于受罚。东昏侯永元二年(500)，重新起用做国子博士。
起初，范云和梁武帝萧衍曾在齐竟陵王萧子良的官邸相会，又曾住在邻近的街坊，梁武帝很器重他。当反对东昏侯的军队到了京城，范云这时正在城里。东昏侯被杀之后，侍中张稷派范云带着使命出城，梁武帝便留下范云，参预机密大事，又授官做黄门侍郎，和沈约一起同心协力辅佐梁武帝。不久晋升做大司马咨议参军、兼录事。梁朝建立之后，升任侍中。这时梁武帝收纳乐昏侯的余妃，为此严重影响了国家政务，范云曾经进言劝阻，未被采纳。后来范云和王茂一同来到梁武帝的卧室，范云又进谏说：“过去汉高祖刘邦在山东的时候，贪财好色；等进入函谷关平定秦地之后，不敛取财帛，不接近妇女，范增认为这是刘邦有远大志向，打算成就大事业的缘故。如今明公刚刚安定天下，天下的人都想看到你的风度和威名，为什么要因袭昏乱的事情，让女色拖累贻误大事。”王茂也借机起身施礼说：“范云说的正确，主公一定要以天下大事为重，不应该对女色表示留恋惋惜。”萧衍沉默不语。范云便写奏疏建议把余氏赐给王茂。高祖萧衍认为这是忠贤之言并准许范云的请求。第二天，赏赐给范云、王茂每人一百万钱。
天监元年(502)，梁武帝接受齐和帝禅位做天子，在南郊举行柴燎祭天仪式，范云以侍中身份陪乘。祭礼完毕，高祖坐上御辇，对范云说：“我今天的心情，正是所谓战战兢兢如同用糟烂的缰绳驾驭六马一样。”范云说：“我也深愿陛下一天比一天更加谨慎。”武帝认为范云所说很好。当天，晋升范云做散骑常侍、吏部尚书；由于辅佐武帝即皇帝位有功封霄城县侯，食邑一千户。范云凭旧日与武帝的关系受到提拔超过常人，升任为佐命大臣，他竭尽忠诚辅助皇帝，凡是该做的无不尽力去做。武帝也拿诚心待他信任他，范云奏请的事大多得到准许。范云曾经陪侍御宴，武帝对临川王萧宏、鄱陽王萧恢说：“我和范尚书从少年时起便友好亲善，对他怀有兄弟般的情意；如今我成了皇帝，这种朋友的礼节变成了君臣关系，你们应当代替我称他为兄。”二王离席施礼，和范云同乘一辆车回到尚书省，当时人们都为范云感到荣耀。这一年，皇帝立太子，范云以原官身份兼任太子中庶，不久升做尚书右仆射，还兼任吏部尚书。过不久，因为范云违背诏令意旨用人而得罪，免除吏部尚书职务，仍然保留仆射职务。
范云性格诚厚亲和，对待寡嫂尽心有礼，家里的事一定要事先问过嫂嫂然后才办。他喜好气节，崇尚不同寻常的作为，专门帮助别人的急难。少年时和领军长史王亥友好，后来王亥死在官署里，穷得没有自己的住宅，范云便把死者运回家来，亲自办理装殓殡葬的事。侍奉竟陵王萧子良时受到的恩惠礼遇都很隆重，但是范云每次进言批评或鼓励，从来没有曲意奉承。萧子良曾经启奏齐武帝建议派范云出任郡守的事。武帝说：“范云是个平庸的人，听说他经常卖弄权势，我现在不再依法深究，从宽让他到远方去任职。”萧子良说：“不是这样。范云对我规劝教诲，写的谏书全在，让我取来呈上。”拿来之后，有百多张纸，言辞都很重要而且是直言不讳。齐武帝赞叹，便对萧子良说：“想不到范云竟是这样的人。正好让他辅助你，怎么可以让他出去做郡守呢？”齐文惠太子曾经出宫到东田观看农夫收割庄稼，回头对众宾客说：“收割也是很好看的。”众人都唯唯称是，只有范云说：“一年三季的劳动，实在是长期勤苦的事。我只愿殿下了解稼穑的艰难，不要贪图一朝一夕的宴乐安逸。”出来之后，侍中萧缅先前同范云并不相识，临上车的时候握着范云的手说：“想不到在今天又听到了忠直之言。”当范云官居吏部的时候，责任职守极其重要，书信文件堆满公案，宾客满门，范云应接对答自如，毫无拖沓阻滞，官属们的文稿，发现并指出不当之处快速如神，当时人全都佩服他聪明博学，性格极其坦率正直，不重视威仪权势，凡是认为对的或不对的，都在言行中表现出来，有的士大夫就因此对他不满。起初，范云做郡守时人们都称颂他的廉洁，等到在朝中做高官时，很重视与人相互馈赠，但是家里没有积蓄，得到的钱财随时都分送给亲朋故友。
天监二年(503)逝世，当时五十三岁。梁武帝为他流泪，当天亲临吊唁。颁诏书说：“追念往日令人产生悲伤的情绪，这是人们所重视的感情，更何况他的声名威望还在，又是个朝廷委以重任的大臣呢！已故散骑常侍、尚书右仆射、霄城侯范云，器度风范忠贞正直，为国家大事深思远谋，早年便立有大志，平常行事负有盛名。自从任官以来，清明的政绩一贯显著。在朝中经理国政，实在是公辅之臣。他勤心辅政，大义记在我心上，虽然他操劳的不是军务，但他却是长久和我共同议论谋划大政的文臣。正当任重道远驰骋才力，长久辅政理事的时候，忽然丧命殒逝，使人满怀悲痛。应当加赐官位秩禄，用来作为美好的典范。可以追赠做侍中、卫将军，仆射、侯爵不变，并且赏赐鼓吹乐一部。”礼部官员请加谥号为宣，皇帝下令改称文。有文集三十卷。他儿子范孝才继承爵位，官做到太子中舍人。