元延祐初年，滕穆二十六岁，是浙江永嘉的一位读书人，擅长作诗，风采韵致优美，备受众人推崇赞许。他平素听说杭州山水秀美，一直很想前去游玩一番。
延祐元年（公元1314年），朝廷下达恢复科举的诏书，于是滕穆便拿着本乡的推荐信前往省城应试。到省城后，他寄居在涌金门外，每天都往来于南山、北山以及西湖边上的各个寺院，像灵隐寺、天竺寺、净慈寺、宝石寺之类，以及玉泉、虎跑、天龙、灵鹫、石屋洞、冷泉亭等这些景点；但凡是景点中深幽的山涧、茂密的树林、悬崖的峭壁等，几乎都能找到滕穆的足迹。
七月半这天，滕穆由于在曲院风荷观赏莲花，因而在湖上留宿，小船就停泊在雷峰塔下。这天夜晚，月光把大地照得如同白昼，荷花的香气萦绕在全身上下，那些大点的鱼儿在湖水中跳跃的声音、归巢栖息的鸟儿在岸边的飞鸣声也都能时不时地听到。当时，滕穆喝醉了酒，无法入睡，于是就起身披上衣服，沿着湖堤观看，而当他走到聚景园时，竟漫步跨了进去。要知道，距离宋朝亡国已经整整四十年了，园中除了瑶津西轩还依旧高高矗立，其他的楼台亭馆，像会芳殿、清辉阁、翠光亭等都已塌坍毁坏了。
滕生来到轩下，靠着栏杆稍作休息。一会儿，他忽然看到一位美女和一个侍女从外面进入园中，其中美女在前面走，侍女则跟在后面。而此美女虽然发髻微乱，但却姿态柔美，看上去恰似神仙一般。于是，滕生在轩下屏气凝神，想着看看她究竟想要干什么。这时，只听此美女说道：“湖光山色如故，风光与以往相比也没有什么不同，只不过是随着时代的变迁，世事已经大不一样了，难免会让人有黍离之悲！”说完，她便走到园北的太湖石边，吟诵起诗来：
湖上园亭好，重来忆旧游。征歌调《玉树》，阅舞按《梁州》。径狭花迎辇，池深柳拂舟。昔人皆已殁，谁与话风流！
滕生生性放荡不羁，在初见她的美貌时，就早已经按捺不住自己的感情，等听了这诗作，越发地技痒难忍，于是在轩下继续吟诵道：
湖上园亭好，相逢绝代人。嫦娥辞月殿，织女下天津。未领心中意，浑疑梦里身。愿吹邹子律，幽谷发阳春。
吟诵完后，滕生便快步朝她走去。那美女也并未感到惊奇，慢慢地说道：“我原本就知道郎君在这里，这是特意来寻访你。”滕生问美女姓名，她说：“我已经离开人间很长时间了，本想着要自报家门，可是又担心这样有点唐突会令郎君受到惊吓。”滕生听了这番话，虽然已然确定她就是鬼魂，可却一点也不害怕，还要坚持询问她的姓名。美女这才说道：“我名叫卫芳华，是宋理宗朝时的宫女，二十三岁就已经去世了，死后就被葬在了这个园子的边上。因为今天晚上前往演福寺去拜访贾贵妃，承蒙她盛情款待，不想回来得迟了，以至于让你等了这么长时间。”说罢，她随即对侍女说：“翘翘，快到屋里去把坐卧的垫具和酒食水果拿来。今晚月色甚好，郎君恰好也来了，我们就在这里赏月吧，万万不可虚度良宵。”听她这样说，翘翘便领命而去。
不一会儿，翘翘就回来了，只见她带回了紫毛毯等物，摆上了白玉碾花酒樽，拿出碧琉璃杯盏，美酒芳香四溢，简直不敢让人相信这些是人间所有的。就这样，美女同滕生一边谈笑一边吟咏诗词，其诗词大都传递出清新美好的旨趣。接着，美女又让翘翘唱歌以助酒兴。翘翘希望能够咏唱柳永的《望海潮》词。美女说：“新人又怎么能够唱旧曲呢。”于是，她随即就自己填写了一首《木兰花慢》词，让翘翘吟唱。那歌词是：
记前朝旧事，曾此地，会神仙。向月地云阶,重携翠袖，来拾花钿。繁华总随流水，叹一场春梦杳难圆。废港芙蕖滴露，断堤杨柳垂烟。两峰南北只依然，荤路草芊芊。怅别馆离宫，烟销凤盖，波浸龙船。平时玉屏金屋，对漆灯无焰夜如年。落日牛羊垅上，西风燕雀林边。
唱完后，美女不禁潸然落泪。看到美女如此，滕生一边极力用言语对她进行宽慰劝解，一边屡次用委婉的语言来挑逗她，并密切观察她的意向。只见，美女起身拜谢道：“我已经是去世之人，时间一长就会化作尘土，可是如果我能够有幸服侍你洗漱并嫁给你，即使死了也会不朽。况且郎君你刚才的诗句中，也已经有意应允我了，希望我吹奏着邹衍的音律，使深邃的山谷变为万物发生的春天。”滕生说：“刚才我吟诵的诗句，其实只不过是脱口而出罢了，原本并没有你说的这个意思，谁又能料想到竟会成为预言呢。”
过了很久，月亮渐渐隐没在西边的城墙下，河鼓星也向东边的山岭倾斜，美女命翘翘撤去酒席，并说：“我这里实在是偏僻简陋，不适合郎君你在这里居住，也就这西轩还算是说得过去。”于是他们手拉手进入瑶津西轩，且在轩中留宿；而夫妻交合的事情，也同人世间一样。天快亮的时候，美女只得无可奈何地抹着泪与滕生告别。
到了白天的时候，滕生为了印证先前的事情，特意前往园侧探访，不料那里确有宋代宫人卫芳华的坟墓，而且在墓的左边还有一个小土堆，也就是翘翘的坟墓。看着两人的坟墓，滕生在那儿好生感慨叹息了一阵儿。等到黄昏的时候，他又来到瑶津西轩，而美女却已经比他先到了。她迎着滕生说：“感谢郎君您白天前来园中寻访，不过我作为死去之人只有黑夜才对我有利，白天则会对我不利，所以我才不敢贸然与你相见。几天以后，就可以不分昼夜了。”从此以后，他们两人每个晚上都会来此相会。如此十天后，卫芳华白天也能出来和滕生相见了，于是他就把芳华带回自己的寓所定居了下来。
不久，滕生考试落第，决定东归故里，美女知道后表示愿意跟随他一起回去。这时，滕生问道：“为什么翘翘没有跟着去呢？”她回答说：“我现在出来服侍郎君，墓宅没有人，只是把她留下来看守罢了。”于是，滕生和芳华一起返回了故乡，看到亲朋好友，滕生就骗他们说：“这是我在杭郡娶的良家女子。”大家看这女子举止温柔，言辞聪慧伶俐，也就相信了滕生，而且也非常喜欢这女子。同时，美女在滕生家里对待长辈也很有礼数，对待奴婢仆人也经常施以恩惠，她与左右邻居的关系也非常和睦，相处得很开心。另外，她还勤勉持家，安守本分，哪怕是内外门之间的中门，也都没有随意踏出过一步。大家对滕生能够得到这样一位贤内助都纷纷表示祝贺。
如此光阴不知不觉已经过去了三年，延祐四年（公元1317年）初秋，滕生整理行装又要去省城参加乡试，出发的日子都已经定下了。这时，美女向滕生请求说：“杭州是我的家乡。我和郎君到这里也已经有三年了，如今希望能够和你一同前往，也顺便看望一下翘翘如何了。”滕生答应了她的请求，于是两人乘坐雇来的船，直达钱塘，到那以后他们临时租了一间房子居住。到达钱塘的第二天，恰巧赶上七月半，美女对滕生说：“三年之前，我们就是在这样的一个夜晚相遇的，今天又恰巧碰上了这个日子，我打算与郎君再去一次聚景园，继续往日之游，不知道可以不可以呢？”滕生同意了她的要求，带着酒食一起前往。
到了晚上，月亮爬上了东边的城墙，莲花开放在南边的水湾，嫩柳细竹在堤岸上摇曳，简直和三年前的情状一般无二。而他们走到园前的时候，翘翘早已在路口迎见礼拜，说道：“娘子陪伴奉侍郎君，遨游城市，如今前前后后已经三年，享尽了人世间的欢乐，恐怕不会再想起这个旧居了吧？”说着，三人一同进了园内，到西轩后坐定。这时，美女忽然流着泪对滕生说：“这三年来，感谢郎君你不嫌弃，让我能够陪伴在你左右尽心地侍奉你，但是如今我们还没有尝尽欢乐，就又要永远分开了。”滕生急忙问道：“这是为什么？”美女回答说：“我原本就是阴间地府之人，不适合长时间在人世间走动。只是因为我与郎君前世缘分未尽，这才不惜冒犯阴间条规跟随在你左右。可如今，我们之间的缘分已尽，也是到了该分开的时候了。”听到这里，滕生惊慌失措地问道：“那是什么时候呢？”美女回答说：“就是今晚。”顿时，滕生悲伤惶恐，心如刀绞。美女说：“并不是我不想终身侍奉陪伴郎君，永远让您快乐，而是我待在阳世的时间有限，不能随意超过。如果我长时间地滞留在人间，就会获得罪过，这不但会对我造成损害，还会给郎君你带来不利。难道郎君没有听说过《青琐高议》中有关越娘的故事吗？”听她这样说，滕生才有所醒悟，可耐不住心中的悲伤感慨，致使彻夜都无法入眠。就这样，一直等到山中寺庙的钟声敲响，水边村庄中的雄鸡啼唱，美女才急忙起身与滕生告别，并且把佩戴的玉戒指脱下系在滕生的衣带上，对他说道：“以后你看到戒指，希望郎君你不要忘记我们之间旧日的感情啊。”说完，美女难舍难分地与滕生分别继而离去，不过仍然频频回头，很长时间才消失了踪影。看着美女慢慢消失在自己的眼前，滕生大哭了一场，可最终也只能无奈地返回居所。
第二天，滕生准备了一些酒肴，并在芳华的墓前焚烧纸钱，还专门作了一篇祭文来悼念她。祭文中写道：
你生来淑美，出类拔萃，超过众人。秉禀有仙圣般的奇姿，接受了天地乾坤的秀气。你的容貌秀丽如花，品质纯朴如玉。扬眉吐气时能够住进天上之金屋，穷途末路便埋骨路左之荒坟。托体与松楸共处，眼见着狐兔群奔。落花流水，断雨残云。中原多事，故国无君，感叹光阴如同白驹过隙，眼见日月就像奔轮。然而精灵不灭，性识长存。不必依仗李少翁招魂奇术，自能够返倩女之芳魂。伴随着玉匣骖鸾之扇，金泥簇蝶之裙。声泠泠是环珮响，香霭霭是兰荪薰。刚想要同欢以偕老，怎奈何既合而复分！你像洛妃穿着凌波之袜远去，去参加王母的瑶池宴请。走近看却什么也见不到，问讯也没有回音。我惆怅后会无期，感伤前事与谁谈论！关锁着杨柳春风之院，紧闭住梨花夜雨之门。恩情中断天漠漠，哀怨缭结云昏昏。音容杳杳见不到，心绪纷乱无法理。谨含哀而奉吊，希望你对此有感！呜呼哀哉，尚飨！
从此以后，美女就再也没有出现过。滕生百无聊赖地独自待在居所，就好像死了妻子一样。眼看乡试的日期一天天逼近，可是滕生却没有任何心思去准备乡试，于是就满心惆怅地返回了家乡。亲朋好友问为何独自一人归来，于是滕生便把事情的始末都告诉了他们，大家听后都为之感叹惊奇。后来，滕生再也没有娶妻，一次到雁荡山去采草药，就再也没有回来。