离四川眉州三十里左右有个临江的小集镇，镇上有几百户人家，商贾货物不绝如缕，各路人物云集，生意十分红火。有一座古庙就在江上，直到今天还常常显灵，听闻是花蕊夫人费氏的祠堂。在庙的附近有一大户人家叫钟声远，家里为富且仁，崇礼尚义，经常聘请名师。钟声远的姐姐也是大户人家的媳妇，生有一子叫谢琏，他就到舅舅家来读书。谢琏生得仪表容貌俊秀严整，风度高雅，一点儿也没有贫寒读书人那种迂腐的样子，大家都很喜欢他，和他一同下棋、饮酒，谈诗论文，就怕谢琏离去。在私塾的后面，钟家建造了一所特别大的园子，园里有碧漪堂、水月亭、玩芳亭、醉春馆、翠屏轩等建筑。园中的幽静雅致是谢琏特别喜欢的，在这里休息借宿，将近一整月了。
一天，谢琏外出回府，忽然见有四个年纪将近十五岁的女郎，娉婷窈窕，在玩芳亭旁嬉戏玩耍。谢琏以为是几位表妹，急忙上前问候行礼。来到面前才知道不是表妹。女郎们也不害羞躲避，依然谈笑自若。谢琏问她们：“小姐们是误入此地吧？”其中一位女郎回答说：“我们姊妹是东邻花家的女儿，很早就听说花园美丽，奇花芬芳，异卉盛开，所以手拉手来此地赏玩。没有想到被郎君看到，希望不要感到奇怪！”谢琏猜想这是邻居女子互相往来，也不感到奇怪。
晚上，谢琏即将就寝的时候，突然听得窗格间轧轧发出声响，好像有人在外敲推。谢琏起来一看，是白天见到的那几位女郎中的一位，进门就向谢琏行礼，面带悦色，轻启朱唇说：“我容貌平平，体质衰弱，偶遇您光华的容范就动了爱情之心，欲望难以抑制，所以冒禁令前来和你幽会，违反礼义不惜私奔，孤身前来为您侍寝。”说完，就请谢琏上床行鱼水之欢。谢琏开玩笑地问她：“那三位姐妹在哪里？怎么就你一个人来啦？”女郎说：“请等待明晚，我会把床笫的欢乐分给妹妹们的。”接着，随口吟诵了一首诗：
翠翘金凤锁尘埃，懒画长蛾对镜台。谁束白茅求吉士？自题红叶托良媒。
兰缸未灭心先荡，莲步初移意已催。携手问郎何处好？绛帷深处玉山颓。
一会儿，月色渐淡，鸡叫声渐渐响起，女子手拿衣服起来说：“我回去了！”随即悄悄离去。第二天晚上，谢琏开窗等候，又焚了一炉好香。果然那女郎和一个人来到，笑着安抚谢琏说：“昨天晚上那种欢乐，希望也给小妹试试。”又回头对妹妹说：“你好好照顾郎君，好好做新娘吧。”接着迈步出门回去了。她的妹妹与谢琏谈笑缠绵，亲热起来，同她姐姐一样与谢琏同枕共被。妹妹机智灵巧，也能作诗，也作了一首诗赠给谢琏：
赤绳缘薄好音乖，姊妹相看共此怀。偶伴姮娥辞月殿，忽逢僧孺拜云阶。
春生玉藻垂鸳帐，香喷金莲脱凤鞋。鱼水交欢从此始，两情愿保百年谐。
吟诵完毕，小妹告别后缓步回去。谢琏嘱咐她再来。小妹说：“无须多说，保证不会让郎君一人独睡。”这天晚上，大姊又送三妹来到房中。谢琏想让她们姐妹二人都留下来，大姊推辞说：“等郎君做了四次新郎之后，我们姊妹会分别侍寝，周而复始。”谢琏随即就与三妹亲热，并且向她索要诗篇。三妹回答说：“惭愧啊，我没有曹植七步吟诗的才学，又不是二位姐姐的对手，怎么会有这个能耐呢？”谢琏坚持要求，三妹这才吟诵道：
兰房悄悄夜迢迢，独对残灯恨寂寥！潮信有期应自觉，花容无媚为谁消？
愁颦柳叶凝新黛，笑看桃花上软绡。夙世因缘今世合，天教长伴董娇娆。
一会儿，翻云覆雨完毕，夜色已经很晚了，三妹尚存残妆，钗横鬓乱，起身整饬衣袖，对谢琏说：“今晚四妹给郎君做配偶，我们姊妹不可能都来，大姊自会送她来此。”当夜约二更的时间，身着盛装的四妹果然与大姊前来，和谢琏行夫妇之礼，山盟海誓，暗诉衷情，也作一首近体诗：
每到春时懒倍添，绿窗慵把绣针拈。奇逢讵料谐鸳耦，吉卜宁期叶凤占？
鬓乱绿鬟云扰扰，手笼红袖玉纤纤。明珠四颗皆无价，谁似郎君尽得兼？
自此之后，四个女郎分为两组，轮流分番，每晚有二人陪谢琏睡觉。谢琏私下想自己一个布衣书生，能获得如此艳遇，一个已经很稀罕了，何况是四个女郎。于是作了一篇《峨眉古意》以自贺。诗为：
峨眉古郡天下雄，烟峦雪岭百千峰。鸟道萦纡通剑外，狼烟迢递逗蛮中。
巴江蜀水人间险，僰道滇池化外通。九姓羌夷来部落，诸蕃巢穴入提封。
提封形胜称吾土，画戟朱门不可数。汗血名驹白日调，茧栗肥牛清夜煮。
交衙开市驰轻毂，广厦乔林开别墅。横鞭马上揖相逢，投果车中目相许。
少事豪华厌俗尘，惟将诗酒乐闲身。腰横宝带齐夸俊，家赐铜山不畏贫。
宝带铜山容易得，难买婵娟好颜色，宁期向月得窥囊，讵料看花遇倾国？
倾国倾城绝世颜，水苍刻钏赤瑛环。美目盈盈溢秋水，长眉淡淡扫春山。
春山八字争妍媚，姨姨妹妹皆殊丽，凝妆谩羡翠楼娼，荐枕徒闻红拂妓。
琥珀枕边盟誓存，玳瑁帘前烛烬昏。恋恋柔情随暮雨，依依好梦逐朝云。
解珮遗香镇求耦，调铅傅粉忍抛群？菱花明镜当窗照，柏子奇香亸袖薰。
奇香缥缈满兰房，终宵达旦恒芬芳。真真燕燕排鱼队，小小莺莺列雁行。
鱼队雁行陪雁侣，风管龙笙作龙语。褪出鸡头带笑扪，夺得鸾篦称娇与。
露重星稀银漏沉，并蒂芙蓉笼锦衾。莲娇藕嫩美同貌，兰香蕙馥美同心。
酝藉风流多态度，回昼为宵岂相妒。密约应愁阿母猜，幽怀肯向旁人诉？
幽怀密约付谁知，天长地久万年期。愿为蝴蝶长相逐，愿学鸳鸯免别离。
卓氏文君异闾里，南威西子非同气。窈窕娉婷出一门，一门四妙兼双美。
踽踽凉凉游子妻，茕茕独独只孤栖。肠断愁听子规鸟，春来春去树梢啼。
诗成之后，谢琏传给女郎们看。女郎们传递品鉴，赞不绝口，认为是很少有人能唱和的佳作。只有大姊沉默不言，很久才长叹说：“我四人是堂姊妹，都是闺房里的姑娘，尚未许配人家，因为偶然偷偷赏花园，随后才与君私奔，承蒙郎君不嫌弃，又恩赐怜爱。只担心岁月难留，佳期易失，郎君难免要娶媳妇，我们却不能再嫁人。想织文锦寄给丈夫，但我们只有苏若兰的才思；想离魂与夫婿一同逃跑，只是我们没有张倩娘的能力。只能眼睁睁地看着鸾凤分飞、燕鸿互别，悠悠千古的遗恨，耿耿深长的思念，仔细想今日的欢乐，恐怕会成为他日的大祸啊。”三个妹妹听了后，也都叹息抽泣着回去了。
又过了一年多，果然谢琏的父母派人来请谢琏回去完婚。女郎们听到这个消息后，都前来与谢琏告别，当夜都住在书斋。谢琏一一与她们亲热，雨露均沾。天色即将发白，四妹对谢琏说：“大姊昔日的预言今天应验了。按照上天所定的气数来说，我们还有一年的缘分未完。但愿我们像琴瑟一样好合，伉俪和谐；人生最快乐的事情，没有能超过此时此刻的了。希望能深切怀恋我们这些家世低微的人，切不要轻易背弃。郎君成亲之后，只要方便时就来这里找我们，我们仍当踮起脚跟，望穿双眼，在翠屏轩下等候郎君归来。”随即拔下一对金钗作为送别的礼物。其他三位姐姐也取出了翠钿、银镯、耳珰送上，说：“回去后送给您的妻子，略微传递我们的深厚情意。”然后四位女郎与谢琏洒泪而别。谢琏把她们的礼物都收藏在书箱中。
谢琏到家后，婚期已经来临。结婚以后，家庭虽然很和睦，但是他却从未间断过对四位女郎的思念之情。结婚满月之后，妻子回娘家问安了，谢琏孤枕难眠，居然在梦里与四位女郎相见，还像以前那样交媾欢乐。云雨之后，三妹起身说：“与郎君长久离别，没有什么可以娱乐的，就让我跳回风舞吧。”于是扬起翠衣，翻舞罗袖，就是赵飞燕的轻盈、公孙大娘的神捷，也不足以比拟其舞姿的奇妙。跳完舞，大姊作《回风之曲》道：
有淑人兮邦之媛，珮明月兮纫兰荃。扬轻躯兮掌上，翻长袖兮筵前。
初鸿惊兮巧周旋，忽鹦举兮何蹁跹？云鬤坠兮玉珥，文席委兮珠钿。
羌宛转兮妖且妍，奇莫敌兮妙莫传！倏低昂兮既罢，蹇良夜兮如年。
二妹也对四妹说：“载歌载舞，足以慰藉咱们这被遗弃的怨苦。你我该做些什么呢？”于是就拿出一枝玉箫交给她说：“四妹善于此道，可不要吝惜技艺。我依你的曲子唱和，不也很好吗？”四妹欣然说：“这太好了！”于是这二人从容不迫地吹奏了三遍，箫音清幽和谐，婉转细腻，幽怨并且岑寂，就像夜露使寒蝉感到阴冷，就如秋云乘着清新的风直上蓝天。二妹也皱起眉头，歌唱应和，一唱三叠：
玉指兮冰容，写幽思兮诉深衷。袅袅兮余音，驻彩云兮明月中。
珠露零兮萧韵清，幽修凤语兮和且平，欢乐未极兮空复情。
紫箫咽兮夜无哗，宝篆微袅兮烛垂花。
河欲没兮夜欲阑，聊逍遥兮暂为欢。
脱花钿兮收明珰，舒衾裯兮归洞房。
齐交颈兮如鸳鸯，银漏短兮欢娱长。
但悲白日兮上扶桑！
谢琏正在静静地侧耳聆听，忽然钟声鼓韵传来，他推开枕头，起身伸了一个懒腰，原来却是美梦一场。梦中的词曲他都能回忆起，于是凭记忆抄录了下来。谢琏心里总是挂念这四位女郎，就假意托词要完成学业，要前往舅舅家就读。四位女郎庆幸谢琏再来，爱怜眷顾，超出往常。谢琏对她们讲述了梦中的事，女郎说：“这是夫妇的深切思念，在梦中有所体现，不值得奇怪。”谢琏留恋这四位女郎，半个多月都只待在书房，也不和舅舅见面。舅舅对他的行踪很怀疑，想看看外甥到底在干什么，一天晚上暗中来到园中。只见谢琏与诸女郎正在赏月，欢声笑语。舅舅急忙进去叫外甥，女郎们突然之间惊逃四散。舅舅立刻对谢琏严加诘问，谢琏始终不肯道出详情。他舅舅对妻子说：“后花园面积宽阔，花木繁多，即使没有花月之妖，也有水石之怪。谢琏长得很英俊，风度翩翩，难道不会被妖怪迷惑吗？还是赶紧送他回家，就怕时间一长他会得病。”于是命令仆人送谢琏回家。
谢琏到家后，因为思念女郎的缘故，还不到半年，他就染上了重病，神情恍惚，断断续续地说话，奄奄一息地躺在床上，长久不能痊愈。钟声远亲自前去探望外甥的同时把花园赏月的事情全部告诉了谢琏的父母。他的父亲再三询问，谢琏这才吐露实情，并且把所得的诗作以及金钗等物品拿出来给父亲一看，原来都是泥捏的。他父亲知道儿子已遭受鬼妖的祸害，就与钟声远一起到园中访查，但是没有发现踪迹，于是就去花蕊庙求签。当他们经过人迹罕至的东边廊屋的一个小房间时，发现帐幕遮掩，揭开帐幕一看，牌位上写着“巫山神女之位”，塑有四位美女的泥像，东边坐着的一人少了一对掩鬓，右边二人臂上缺少两个镯子、耳朵上少了一副耳珰，左边一人脸上脱落两枚花钿。谢琏的父亲十分惊慌，取出泥捏的物品，一一放回原处，都相吻合。随即用手将四位美女像砸碎，并命令仆人全沉到江里，然后回家。从这以后有一个多月，谢琏的病情痊愈，怪魅自此绝迹。