祖莹，字元珍，范阳遒地人。他八岁那年能读《诗经》和《书经》，十二岁为中书学生，终日沉湎书中。父母怕他累出病来，常禁止他读书却又不能成功。他经常在灰烬中偷偷地隐藏火种，赶走书僮和仆人，等到父母睡熟后，再举火读书。他用衣服被子遮住窗户，恐怕火光泄漏出去被家人发觉。因此，声誉更高。家内家外的亲属都叫他“圣小儿”。尤其喜好写文章，中书监高允常感叹道：“这个孩子的才能器识，不是其他学生能赶得上的，终将有远大的前途。”这时，中书博士张天龙讲解《尚书》，提拔他为都讲。有一次，他因晚上读书过于疲倦，不知不觉睡到天亮。去讲课的时间十分紧迫，却误拿了同房住宿的生员赵郡李孝怡的《曲礼》一卷书走向座位。博士张天龙要求非常严格，他不敢再回去取《尚书》，便把《曲礼》放在面前，朗读《尚书》中的三篇，不错漏一个字。孝文帝听说后，将他召入宫中，让他读《五经》章句并解释意义。孝文帝对卢旭开玩笑说道“：古时尧将凶臣共工流放在幽州，北部偏远的地方怎么会忽然出现这样一个才子？”卢旭对答说：“应当说是这个人才为我朝所生。”
祖莹以才学著名被拜为太学博士。司徒、彭城王元勰征请他为法曹行参军。孝文帝对元勰说“：萧颐让王元长任子良的法曹，现在你用祖莹为法曹，难道不是要赶上他吗？”命祖莹任元勰的书记。祖莹与陈郡的袁翻声名相同，秀出群伦。当时人们说他们二人“：京城中楚楚动人的才子是袁翻与祖莹，洛阳城风姿翩翩的少年是祖莹与袁翻。”祖莹又迁任尚书三公郎中。尚书令王肃曾在尚书省吟咏《悲平城诗》“：多么悲壮啊，平城，我策马驰入云中。阴山常被阴霾笼罩，风狂雪猛，荒野的松树梢头，不停地搅动着寒风。”彭城王元勰读了十分感叹诗的优美，想让王肃再朗诵一遍，却失口说道：“您可否再吟咏一遍《悲彭城诗》？”王肃因而戏笑元勰说“：为什么读《悲平城》为《悲彭城》呢？”元勰面有愧色。祖莹坐在旁边，立即说：“《悲彭城》一首诗，王公您没有看见过？”王肃说“：可为我朗诵吗？”祖莹应声诵道“：可悲叹啊，彭城，幽宛的楚歌四面唱起，将士们的尸体堆满了石梁亭，殷殷的鲜血将睢水染红。”王肃听完，十分感叹赞赏，元勰也很高兴，归来后对祖莹说：“你一定长着一张神嘴，今天如果不是你，我几乎在王肃这个吴地来的人面前丢丑。”
祖莹任冀州镇东府长史，因收受贿赂的事情暴露，因而被罢官除名。后来，侍中崔光举荐他任国子博士，仍领尚书左户郎的职衔。李崇任都督，领兵北讨，让祖莹任长史。又因截取军队物资坐罪，被罢去职务。不久，任散骑侍郎。孝昌年间，有人在广平王府中掘得一颗古代的玉印，朝廷命祖莹与黄门侍郎李琰之辨认，他说：“这是于阗国王在晋太康时期的贡物。”便用墨涂在字上印出，果然像他说的那样，当时人们称他为“博物”。多次迁官，任国子祭酒，兼领给事黄门侍郎、幽州大中正，负责监修起居注的事，又负责议事。
元颢领叛军占据洛阳，任祖莹为殿中尚书。孝庄帝平定叛乱回到洛阳，因他替元颢起草有关尔朱荣罪状的诏书，而获罪免官。后来，任秘书监，中正的官职仍没有改变。因参与讨论律历，赐爵为容城县子。又因事犯罪被关押在廷尉的狱中。适逢尔朱兆攻入京城，烧毁了乐署，里面的钟鼓玉磬、笛箫弦管都荡然无存。朝廷命他与录尚书事长孙承业、侍中元孚重新制造各种乐器，费了三年功夫才完成。他迁任为车骑大将军。孝武帝即位，他以太常寺官员的身份监行大礼，被封为文安县子。天平初年，京城将迁至邺城，齐神武帝高欢召请他议论这件事，他因功晋爵为伯。死后，赠尚书左仆射、司徒公。
祖莹以文学见称于世，他常对人说：“文章要自己构思和布局，形成自己的风格，怎么能与别人一起讨生涯呢？”这话是讥讽世人好剽窃别人的文章为自己所用而说的。他的文稿也不乏天才之作，但也不是都一样，其中美玉与顽石同在。他性情豪爽，有气节，读书人有穷困潦倒的来投奔他，他一定给予拯救帮助，人们也因此称赞他。