大历年间，陇西有个叫李益的书生，二十岁，考中了进士。到第二年，参加拔萃科考试，等着由吏部来主持复试。六月盛夏，到达长安，住宿在新昌里。李益门第清高华贵，年轻时就有才气，丽词嘉句，时人都说无双；前辈尊长，全都推崇佩服。他常自夸耀其风流才情，希望得到佳偶。四处寻求名妓，很久未能如愿。长安有个媒婆叫鲍十一姐，是从前薛驸马家的婢女，赎身嫁人，已有十多年了。秉性灵活乖巧，着于花言巧语。富豪之家皇亲国戚的住处，没有一处不曾去打听消息，出谋划策，人们都推她做领头。她常受李益诚心的委托和丰厚的礼品，心里很感激他。
几个月后，李益正闲住在房舍的南亭。下午时前后，忽然听到急促的敲门声，仆人说是鲍十一娘到了。李益撩起衣服跟着跑出来，迎上去问道：“鲍妈妈今天为什么忽然来了？”鲍十一娘笑着说：“苏姑子作了好梦没有？有个仙人，被放逐在人间，不追求财物，只爱慕风流人物。像这样的角色，和您十郎正好匹配啊。”李益听说后惊喜踊跃，神气飞扬，身体轻飘飘的，拉着鲍十一娘的手边拜边谢道：“一辈子做你的奴仆，死了也不怕”。
于是问她的姓名和住处。鲍十一娘详细说道：“她是从前霍王的小女儿，字小玉，霍王很喜爱她。母亲叫净持。－净持，就是霍王宠爱的婢女。霍王刚死的时候，众兄弟因为她是低贱的人所生，不太愿意收留。于是分给她些资产，叫她住在外面，改姓郑氏，人们也不知道她是霍王的女儿。她姿质艳美，我一辈子也没有看见过这样漂亮的人；情趣高雅，神态飘逸，处处都超过别人；音乐诗书，没有不精通的。前些时托我寻找一个好郎君，品格情调都要能相称的。我详细介绍了十郎。她也知道李十郎的名字，非常高兴称心。她家住在胜业坊古寺巷里，刚进巷口有个车门的宅子就是。已经和她约好时间，明天午时，只要到巷口找到一个叫桂子的婢女，就可以了。鲍十一娘走后。李益就准备前去的计划。于是派家僮秋鸿，从堂兄京兆参军尚公那里借青黑色的小马和黄金马笼头。晚上，李益换洗衣服沐浴，修饰容貌仪表，高兴得手舞足蹈，整夜睡不着觉。天刚亮，戴上头巾，拿过镜子照照，只怕还不合适。犹豫之间，已到了中午。便命备马疾奔向去，直达胜业坊。到了约会的地方，果然看见一个婢女站着等候，迎上来问道：“莫非是李十郎吗？”李益随即下马，让她牵进屋后，急急锁上门。看见鲍十一娘果然从里面出来，远远笑着说：“何等儿郎，冒冒失失到这里来。”李益开玩笑的话还没说完，就被引进中门。庭院间有四株樱桃树，西北角挂着一个鹦鹉笼，看见李益进来，便说道：“有人进来，快快放下帘子！”李益本来生性雅静，心里还在疑惧，忽然听见鸟说话，惊讶得不敢向前走了。正在踌躇，鲍十一娘已领着净持走下台阶来迎候他了。进屋后对面坐下。净持年纪大约四十多岁，绰约多姿，谈笑很迷人。她于是对李益说：“一向听说十郎有才情又风流，如今又看到容貌雅秀，果然名不虚传。我有一个女儿，虽然缺少教训，但容貌还不至丑陋，如能配给郎君，甚为相称。鲍十一娘屡次都接到您的心意，今天就让她永远来服侍您。”李益答谢道：“我笨拙平庸，想不到承您看重，倘蒙收留，生死为荣。”于是命令摆上酒宴，随即让霍小玉从厅堂东面的闺房里出来。李益连忙起来拜迎。顿时只觉得整座堂屋，像琼林玉树一样。相互照耀，眼光转动神采照人。随后就坐在母亲身边。母亲对她说：“你经常喜欢吟咏的“开帘风动竹，疑是故人来”，就是这位李十郎的诗呀。你整天吟想，怎么比得上见一面呢。”
霍小玉便低下头微笑，轻声说道：“见面不如闻名。才子怎么能没有漂亮的相貌。”李益也就接着站起来下拜。道：“小娘子爱才情，鄙人重视美色。双方爱好相互映衬，才貌便兼有了。”母亲和女儿相现而笑，便举起杯来劝了几回酒。李益起身，请霍小玉唱歌。开始时她不肯，母亲再三勉强她唱，她才答应，发声清亮，曲调精奇。酒宴结束，已到天黑，鲍十一娘引着李益到西院安息。清静的庭院深邃的房子，帘帐都很华丽。鲍十一娘让小了头桂子和浣砂替李益脱靴解带。不一会，霍小玉来了，言谈温柔和顺，辞气婉转迷人。脱下罗衣的时候，体态更显得美丽，放下帐子枕上相亲，极其欢爱。李益自认为宋玉提到的巫山神女、曹植遇到的洛水神女也不会超过。夜半之时，霍小玉忽然流泪看着李益说：“我本是娼妓人家，自己知道不能与你匹配。如今因为姿色而受到你的爱恋，托身给仁贤君子，只怕我一旦年老色衰，君的恩情随即转移衰退。使我像女萝一样没有大树可以依靠，像秋天的扇子一样被抛弃。在欢乐到极点的时候，不觉悲从中来。”李益听了她的话，不胜感叹。于是伸过手臂去让她枕着，慢慢地对霍小玉说；“生平的愿望，今天得以实现，即使粉身碎骨，我发誓绝不丢开你。夫人为什么说出这些话！请拿出白绢来，我写上盟约。”霍小玉也就止住眼泪，让婢女樱桃挑起帐子拿着蜡烛，递给李益笔砚。霍小玉在吹禅之余，很喜欢诗书，筐子里箱子里的笔砚，都是霍王家的旧物。便拿出锦锈的口袋，取出越地女子织有黑丝直格的三尺白色细绢交给李益。李益一向富有才思，拿过笔来就写成文句，引用山河作比喻，指看日月表示诚心，句句恳切，听了这些话很感动人。书写完毕，便让她收藏在珍宝箱襄。从此之后相亲相爱，好像翡翠鸟在云中一样。这样过了两年，日夜相随。后一年的春天，李益因为书判拔萃登科，被授予郑县主簿的官职。到了四月，将要去上任，乘便到东都洛阳探亲报喜。长安的亲戚很多来设宴饯则。当时春天的景色还未消尽，夏天的景色初放光彩，酒席结束宾客散去，离别之情萦绕胸中。霍小玉对李益说：“以您的才学和名声，多为人仰慕，愿意和您结婚的人，一定是很多的。何况您堂上有严厉的双觐，室内没有正妻，您这次回家，一定去缔结美满的姻缘。当初盟约上的话，只是空谈罢了。然而我有个小小的愿望，想立即当面陈述，愿它永远记在您心上，不知您还能听取吗？”李益惊怪地说：“我有什度罪过，你忽然说出这些话？你有话就说，我一定敬记在心。”霍小玉说；“我年龄方十八，郎君也才二十二岁，到您三十而立的，时候，还有八年。一辈子的欢乐爱恋，希望在这段时期内享用完。然后您去挑选名门望族，结成秦晋之好，也不算晚。我就抛弃人世之事，剪去头发穿上黑衣，过去的愿望，到那时也就满足了。”李益又惭愧又感动，不觉流下眼泪，于是对霍小玉说：“我已对天发誓，不论生死都会信守。和您白头到老，还怕不能满足平生愿望，怎敢就有“一心两意。务必求你不要疑虑，只管安心在家等待我。到了八月份，我一定会回到华州，随即派人前来接你，相见的日子不会遥远的。”又过了几天，李益就告假东去了。
上任后十天，李益请假到东都洛阳去省亲。还未到家时，太夫人已替他和表妹卢氏议亲，婚约都已定好了。太夫人一向严厉固执，李益踌躇不敢推切，便前去行礼答谢，随即约定好了在近期内成婚。卢家也是名门望族，嫁女儿到他家，聘娶的财礼定要订为百万之数，不满这数目，照理无法办成。李益家中一向贫穷，办这事一定要借贷，于是找个借口请假，到远地去投奔亲戚朋友，渡过长江、淮水，从秋天一查奔到夏天。李益因为自己背弃盟约，长期拖延回去的期限，什么消息也不带给小玉，就想断绝她的希望，远托亲戚朋友，不让泄漏这事。霍小玉自从李益过期不归，屡次打听音信。虚词诡说，天天不同。她广求巫师，遍访占卦的人，内心忧恨，一年有余。小玉憔悴瘦损独卧空闺，忧郁成疾。虽然李益的书信完全断绝了，但霍小玉的思念盼望却始终不变，送钱财给亲戚朋友，让他们告诉消息。寻访之情这样急切，资财多次用空，经常暗自让婢女偷偷去卖掉箱子里的衣服和珍宝，多数卖给西市寄售店里的侯景先家。一次让婢女浣纱拿了一只紫玉钗，到侯景先家去卖。
路上遇见皇家老玉工，看见浣纱拿的钗，上前辨认道：“这只钗是我制作的。当年霍王的小女儿将要梳发环加笄，让我制作了这只钗，酬谢我一万文钱。我一直不曾忘记。你是什么人，从哪里得到的？”浣沙说：“我家的小娘子，就是霍王的女儿。家道衰败，沦落嫁了人。夫婿前些时到东都去，再也没有消息了。她抑郁成病，现在快有两年了。让我卖了它，把钱送人，托他们打听夫婿的音信。”玉工凄然流泪说：“显贵人家的子女，落魄失机，竟然到了这般地步：我残年将尽，看到这种盛衰变化，也忍不住伤感万分。”于是带她到延光公主的府上，详细说了这件事。公主也为此悲叹了很久，送了她十二万文钱。这时李益定亲的卢姓姑娘正在长安，李益已经凑足了聘娶的财用，回到郑县。这年腊月，又请假进京城来成亲。秘密地找了一处幽静的住所，不让别人知道。有一个考取了明经科的人叫崔允明，是李益的表弟。很厚道，前些年常和李益一同在小玉家欢聚，吃喝谈笑，彼此亲密无间。每次得到李益的音信，必定老实告诉小玉。小玉常拿些柴草、衣服帮助他。崔允明很感激她。李益已经到了京城，崔允明原原本本地告诉了小玉。小玉怨恨地叹息道：“世上竟有这样的事情么！”遍请亲朋好友，千方百计叫李益来。李益自认为拖延归期违背了盟约，又得知小玉病重，惭傀羞耻，索性狠心割爱，始终不肯前去。他早出晚归，想以此回避。小玉日夜哭泣，废寝忘食，一心想见李益一面，竟没有任何机会。冤苦悲愤越来越深。困顿地病倒在床上。这时长安城中逐渐有人知道了这件事。风流人士与豪杰侠客，无不感叹霍小玉的多情，愤恨李益的薄幸。时节已到三月，人们大多出去春游。李益和同伙五六个人到崇敬寺里去欣赏牡丹花，漫步于西廊，轮番吟咏诗句。京兆人韦夏卿，是李益的亲密朋友，这时也在一起游玩。他对李益说：“风光非常美丽，草木繁荣茂盛。可怜郑家姑娘，含冤独守空房！足下竟会把她抛弃，实在是狠心的人。大丈夫的心胸，不应当如此。您应当为她着想！”正在叹息责备的时候，忽然有个豪士，穿着淡紫色的麻布衫，挟着弓禅，丰姿神情隽美，穿的服装轻松华丽，只有一个剪成短发的胡族小童跟在后面，暗暗跟着他们，听他们说话。一会儿上前对李益作揖说：“您不是叫李十郎的吗？我的家族本在山东，和外戚结了姻亲。我虽然没有什么文才，心里却一向喜欢贤能的人。仰慕您的声誉，常想一见。今天幸会，得以一赌风采。我简陋的住处，离这里不远，也有乐队歌妓，足以娱悦性情。美女八九个，骏马十多匹，随您怎历玩乐都行。只愿您光临一次。”李益一伙人听到这话，互相骛叹赞美。便和这个豪侠策马同行，很快绕过几个坊，就到了胜业坊。李益因为靠近霍小玉的住处，心里不想过去，就推托有事，想回马而去。豪侠说：“敝处近在咫尺，能狠心撇下不去么？”便挽着李益的马，牵引着往前走。拖拖拉拉之时，已到了郑家住的小巷。李益神情恍惚，鞭打着马想回去。豪侠当即命令奴仆好几个人，抱着架着往前走。快步上前把李益推进了车门宅内，便让人锁上门，通报道：“李十郎到了！”霍小玉全家又惊又喜，声音传到了外面。在这天的前一个晚上，霍小玉梦见穿紫衫的男子抱着李益来，到了床前，让小玉脱鞋。她惊醒之后，告诉了母亲。并自己解释道：“鞋者，谐也。是说夫妻要再次会合。脱者，解也。已经相见了又要分开，也就是永别了。从这个征兆看来。我们一定很快就会见面，见面之后，我就要死了。”到了清晨，请求母亲为她梳妆打扮。母亲认为她长期生病，神志紊乱，不怎么相信这事，在她竭力支撑的一会儿，勉强替她梳妆。梳妆刚结束。李益果然来了。霍小玉缠锦病榻日久，转身都要有人帮助；突然说李益来了，飞快地自己起了床，换好了衣服走出去，好像有神助似的。于是就和李益见面，含怒凝视，不再说什么了。虚弱的体质娇柔，像是支撑不住的样子，用衣袖一再掩着脸，回头看李益。感物伤人，四座欷嘘不止。不久，有几十盘酒菜，从外面拿了进来。在座的人都吃骛地看着，忙问原由，原来这些都是豪侠送来的。于是就摆设好，相互靠拢坐下来。霍小玉便侧过身，斜看眼看了李益好久，随即举起一杯酒，浇在地上说：“我身为女子，薄命如此。君为大丈夫，负心到这种地步。可怜我这美丽的容貌，小小的年岁，就满含冤恨地死去。慈母还在堂上，不能供养。绫罗绸缎、丝竹管弦，从此也永远丢下了。带着痛苦走向黄泉，这是你造成的。李君啊李君，今天就要永别了！我死以后，一定变成厉鬼，让你的妻妾，终日不得安宁！”
说完，伸出左手握住李益手臂，把酒杯掷在地上，高声痛哭了好几声便气绝身亡。小玉的母亲抬起尸体，放到李益怀里，让他呼唤她，可小玉再也无法醒来了。李益为她穿上白色丧服，从早到晚哭泣得很悲衷。安葬的头天晚上，李益忽然看见霍小玉在灵帐当中，容貌美丽，像活着的时候一样。穿着石榴裙，紫色罩袍，红绿色的披肩纹巾。斜身靠着灵帐，手握绣带，看着李益说：“惭愧蒙你送别，还有未尽的情意。我在阴曹地府，怎度能不感叹呢。”说完，就看不见了。第二天，安葬在长安御宿原。李益到了墓地，痛哭了一场才回去。一个多月以后，李益和卢氏成了婚。睹物伤情，郁闷不乐。夏季五月，李益和卢氏一起回到郑县。到县里过了十天，李益正和卢氏睡着，忽然帐子外面有嘀嘀咕咕的声音。李益吃惊地一看，初见一个男子，年纪大约二十多岁，姿态温和美丽，躲藏的身影映在帐子上，连连向卢氏招手。李益惊恐地赶快起床，绕看帐子好几圈，身影却忽然不见了。李益从此心懁疑惑和僧恶。猜忌万端，夫妻之间，矛盾产生了。有些亲戚百般解劝，李益的猜忌心意才慢慢平息。过后十天左右。李益又从外面回来，卢氏正在床上禅琴，忽然看到从门口抛人一个杂色嵌花犀牛角的盒子，方圆一寸多，中间束有轻绢，打成同心结，落在卢氏怀中。李益打开一看，见有两颗表示相思的红豆，磕头蠡一个，发杀觜一个，和少量的驴驹媚。李益当即愤怒地大声吼叫，声音如同豺狼猛虎，夺过琴砸他妻子，盘问并命令她说实话。卢氏怎度说也辩解不清楚。从此之后李益常常粗暴地鞭打妻子，百般虐待，最后诉讼到公堂把她休掉了。卢氏走后，李益有时同侍妾等人，偶然同一次房，就增加了对她们的嫉妒猜忌，还有因此被杀掉的。李益曾游历广陵，得到一个叫营十一娘的名姬，容貌体态玉润珠媚，李益非常喜欢她。每当对坐时，就对营十一娘说：“我曾在某处得到某个女人，她违犯了某一件事，我用某种办法杀了她。”天天这样说，想让营十一娘怕他，以此肃清闺房内淫乱的事。出门便用浴盆把营十一娘倒扣在床上，周围加封条，回家一定详细查看，然后才揭开。又准备了一把短剑，很锋利，他看着对侍婢说：“这是信州葛溪出产的钢铁，专门斩断犯有罪过的人的头！”大抵凡是李益所见到的妇女，每一个都要猜忌，娶妻三次，大都像开头一样。