虞世基字懋世，会稽余姚人。父亲虞荔，《南史》中有传。
虞世基自幼恬淡安静，喜怒都不在脸上表现出来。学识广博，才能超人，兼长草书、隶书。陈朝中书令孔奂见到虞世基，赞叹说：“南方杰出优秀人才中崇贵的人，就属于这个人了。”少傅徐陵听说他的名字，召见虞世基，虞世基不去。后来因公聚会，徐陵一见到虞世基就认为他很奇异，对朝中官员说：“这个人就是当今的潘岳、陆机。”因此就把弟弟的女儿嫁给虞世基为妻。出仕陈朝，多次升迁至尚书左丞。陈主曾经在莫府山打猎，命令虞世基撰写《讲武赋》，就在座前上奏。陈主嘉奖虞世基，赐给他一匹马。
到了陈朝灭亡，进入隋朝任通直郎，直内史省。贫穷没有家产基业，经常给人家抄书赡养父母，愤愤不平，曾经作五言诗抒写这种心情，文采词理凄凉悲切，世人认为诗写得很好，写诗的人没有不吟咏的。不久，授内史舍人之职。
隋炀帝即位，恩遇更为丰隆。秘书监河东人柳顾言，学识广博，很有才干，很少有他推重的人，到了这个时候和虞世基相见，赞叹道：“天下应当共同推重这样一个人，他不是我们这些人能够比得上的。”很快虞世基升任内史侍郎。因守母丧而离职，悲伤过度以至于损伤了身体。诏令命他起身任职，拜见那一天，虞世基几乎不能站立起来。炀帝令身边的人搀扶着他，可怜他瘦弱，命他食肉。虞世基一吃就悲伤哽咽，下不了筷子。炀帝派人对他说：“刚刚把职任委付给你，应该为国家爱惜自身。”前后多次真诚地劝慰他。炀帝重视他的才能，亲宠礼遇更为丰厚，独自掌管机密，和纳言苏威、左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴等人参与掌管朝政。
当时天下事故很多，四面八方的章表奏书，每天都有上百件。炀帝端庄持重，不当廷裁决事情，进入内房之后，才召见虞世基口授处理旨意。虞世基回到台省，才草撰敕令，每天将近有一百份敕令，没有一点遗漏差错。辽东之战，虞世基晋位金紫光禄大夫。后来跟随炀帝至雁门，被突厥军围困，士卒多被打败。虞世基劝炀帝设立悬赏的等差标准，亲自安抚，就颁布诏令停止平定辽东之战。炀帝听从虞世基的建议，士气才又振作起来。到了围兵散去之后，悬赏的等级标准没有实行，又颁布讨伐辽东的诏令，因此都说炀帝欺骗众人，朝廷内外心都散了。炀帝巡幸江都，行至巩县，虞世基认为盗贼一天比一天炽盛，请求发兵屯居洛口仓，以防备不测。炀帝没有听从，只是回答说：“你是读书人，肯定还存有胆怯。”
这个时候，天下大乱，虞世基知道不能劝谏炀帝归于正道，又因为高赹、张衡等人相继被诛杀，害怕自己遭受灾祸，虽然在炀帝身边侍奉，只是惟惟诺诺取得炀帝的欢心，不敢违背旨意。盗贼一天比一天猖獗，许多郡县都已陷没，虞世基知道炀帝讨厌屡屡听到郡县陷没的消息，后来有报告失败的奏章，就把它压下来，不把实情报告给炀帝。自此以后，外面有什么变化，炀帝就不知道了。曾经派遣太仆卿杨义臣去河北搜捕盗贼，降服贼众几十万，列表上报炀帝。炀帝感叹说“：我当初没有听说盗贼受这么大的挫败，杨义臣开列的投降的盗贼名单为何这么多？”虞世基说“：鼠窃狗盗之徒虽然多，但不足以成为忧虑。杨义臣战胜盗贼，拥有许多兵马，长久居住在京城之外，这样做很不合适。”炀帝说：“你说的对。”立即追令杨义臣，听任其军队四散。又，越王杨侗派遣太常丞元善达秘密从盗贼中通过，到江都禀报事情，说“：李密有几万人，围困攻逼京都洛阳。贼兵占据洛口仓，城中没有吃的。如果陛下迅速回京，乌合之众必定散逃。不然的话，东都洛阳必定陷没。”于是痛哭流涕，呜咽不止，炀帝因此脸色大变。虞世基见炀帝面色忧惧，进前说：“赵王年纪小，这些人欺骗他。如果按他说的，元善达为什么能够到达江都？”炀帝勃然大怒，说：“元善达这个小人，敢于当廷侮辱我！”因而派元善达经过贼兵所占之地，去东阳催运粮草。元善达于是被众盗贼杀害。自此以后，外边的人闭口不言，没有人敢将盗贼的事奏知。
虞世基气度相貌沉静精明，说话大都合乎皇上意旨，因此特别受到宠爱，朝中大臣没有人能和他相比。他的继室孙氏，生性骄奢淫荡，虞世基受其诱惑，恣意奢侈淫靡，器物服饰雕采镂饰，不再有寒素之士的风度。孙氏又携带前夫之子夏侯俨进入虞世基家，夏侯俨顽劣粗鄙无赖，为了聚财敛物，出卖官爵刑狱，贿赂公然盛行，他的家门口像集市一样热闹，金银财宝堆积得满满的。虞世基的弟弟虞世南原是国中有才能的人，清贫不能自立，不曾给与一点补给。因此，虞世基受到论者的讥讽。朝廷内外都疾恶怨恨。宇文化及杀害炀帝而叛逆，虞世基于是被杀害。
虞世基长子虞肃，喜爱学习，多才多艺，当时人称赞他有家父之风。没到成年就死了。
虞肃的弟弟虞熙，大业末年任符玺郎。次子虞柔、虞晦，都任宣义郎。宇文化及将要叛乱的那天晚上，同族人虞亻及得知这个消息，告诉虞熙说：“事情的形势已经这样，我准备把你送到江南，暂且得以免除灾祸。一起死掉有什么益处？”虞熙说“：丢弃父亲，背弃君主，何处能够求生？感谢您的关怀，就此诀别了。”到了国难发生，兄弟争相请求先死，行刑的人在杀害虞世基之前先把他们杀了。