柳遐字子癉，河东解人，宋太尉元景的从孙。祖父柳叔珍，官任义阳内史，事迹见《南史》。父柳季远，梁朝时任宜都太守。
柳遐自幼豪爽超俗，神采嶷然，小小的年纪就有成年人的气量。十分喜爱文学，做事都符合规矩。他的伯父柳庆远特别器重他，对他说：“我昔日侍奉伯父太尉公，伯父曾对我说：‘我昨夜梦见你登上一座高大壮丽的楼房，我把座席交给了你。你日后名望官位必定显要，遗憾的是我见不到了。’我往日也曾白天稍稍睡一会儿，又梦见将往日得到的座席还赠给你。你的官位应当能够赶得上我。你一定要好好努力，以应吉祥之兆。”梁西昌侯萧藻镇守雍州时，柳遐才十二岁，他按老百姓的礼节谒见西昌侯，风度仪态端庄严肃，进退高雅。萧藻很欣赏他，让手下的人踩住他的衣襟，想借此看看他的反映。柳遐慢慢地朝前走了一点，根本不回头来看。出仕梁朝，不久升任尚书功论郎。陈郡人谢举此时任尚书仆射，传唤柳遐来交谈，非常欣赏他，回头对人说“：江汉的英才俊杰在这里见到了。”
岳阳王萧鮞在襄阳秉承皇帝的旨意，授予柳遐吏部郎之职，赐爵号闻喜公。不久又晋升为持节、侍中、骠骑大将军、开府仪同三司。及萧鮞在江陵称帝，举襄阳以归附北朝，柳遐向萧鮞辞别道：“陛下中兴盛业，雄居于古楚之地。臣昔日幸会陛下，早授官位，按理应该以身许国，以求有始有终。自从晋朝南迁，臣宗族随迁的少，从祖太尉、世父仪同、从父司空，都是职位高声望大，就在金陵安下家来。只留下臣之先人独守家园，曾经告诫臣等，不要违背先人之志。如今襄阳既然已经入于北朝，臣若陪从陛下，进则无益于行程，退则有违先人的意思。”萧鮞嘉许他的志向，就答应了他。柳遐因此留在家乡，埋头经籍，自得其乐。
周文帝、明帝频频征召，柳遐因疾病坚辞不受。及萧鮞死，柳遐甚为哀痛，按照旧臣的礼仪服丧。保定年间，朝廷再次征召，柳遐这时才入朝，任骠骑大将军、开府仪同三司、霍州刺史之职。柳遐训导人务必先施以德，施德再三而不听从命令的，才稍加贬斥，只是让人知道羞耻而已。他的部下受到感染而服其化，不再做什么错事，都说：“我们的长官这样仁慈施惠，怎么能够欺骗他呢！”柳遐死后，赠金、安二州刺史。
柳遐有非常人所及的德行。当初任州主簿时，其父亲死在扬州，柳遐自襄阳奔丧，六天到达，一路悲哀过度，形貌损毁，人们都认不出来了。后来奉父亲灵柩西归，中流忽起大风，舟中的人相顾失色。柳遐抱着棺木悲号恸哭，向天诉说哀告，很快风止浪静。他的母亲乳间曾生有毒疮，医生说：“这种病没有什么办法可治，只有找人吮吮疮中的脓水，或许可以希望减轻点疼痛。”声音未落，柳遐就吸吮起来，过了十来天慢慢地痊愈了。人们都认为这是柳遐的孝行感动了神灵的缘故。柳遐性格温和宽厚，喜怒不形于色。弘扬奖励名教，从来不论人之过。特别乐善好施，家中无多余的钱财。临终嘱咐薄葬，其子辈遵嘱而行。有十个儿子，柳靖、柳庄最为有名。