刘琨字越石，中山国魏昌县人，是汉朝中山靖王刘胜的后裔。祖父刘迈，有经国济世之才，任过相国参军、散骑常侍。父亲刘蕃，为人清高简约，性格恬淡，位至光禄大夫。刘琨年少时便得到时议好评，称为俊杰，他和范陽人祖逖都有雄豪之名。年方二十六岁，就任司隶从事。当时征虏将军石崇在河南金谷涧中有座别墅，富丽堂皇无与伦比，常常招致四方文人雅士，来此吟诗作赋。刘琨当时就参预其间，其诗歌文章为大家所推许。秘书监贾谧执掌朝政大权，京师之人无不尽力奉迎倾心结交。石崇、欧陽建、陆机、陆云这些人，都以各自的文才降格屈尊侍奉贾谧，刘琨兄弟也置身于其中，号称“二十四友”。太尉高密王司马泰将刘琨辟为掾，屡迁著作郎、太学博士、尚书郎等职。
赵王司马伦执政，以刘琨为记室督，再转为从事中郎。司马伦之子司马罶，是刘琨的姐夫，因此刘琨父子兄弟都受到司马伦的重用。司马伦篡位时，立司马罶为皇太子，刘琨则任司马罶的詹事。当齐王司马礒、河间王司马..、成都王司马颖一起起兵讨伐司马伦时，司马伦以刘琨为冠军、假节，与孙秀的儿子孙会同率宿卫兵三万来抵挡成都王司马颖的军队。两军战于黄桥，刘琨大败而退，烧毁黄桥以自保。到齐王司马礒入朝辅政时，因刘琨父兄都有极高的声望，特别的予以宽恕，拜刘琨之兄刘舆为中书郎，刘琨为尚书左丞，后转司徒左长史。司马羉失败后，范陽王司马羉镇守许昌，又让刘琨在他部下任司马。
晋惠帝西幸长安，东海王司马越谋划迎惠帝，以控制朝政，任命刘琨的父亲刘蕃为淮北护军、豫州刺史。刘乔向许昌的范陽王司马羉发起攻击，刘琨和汝南太守杜育等人领兵前去救援，还未赶到，司马羉已经被打败，刘琨和司马羉一起出奔河北，刘琨父母于是都成了刘乔的俘虏。刘琨在河北劝说冀州刺史温羡，使温羡将刺史之位让给司马羉。司马羉得到冀州刺史的职位后，派刘琨前往幽州，向王浚请求支援，得到了王浚的精锐骑兵八百人，就和司马羉一起渡过黄河，在廪丘打败了东平王司马懋，向南推进赶走了刘乔，营救出了被俘的父母。接着又斩杀石超，降服了吕朗，因而统率各路人马到长安迎奉惠帝圣驾。以这次的战功被封为广武侯，食邑二千户。
怀帝永嘉元年(307)，刘琨任并州刺史，加振威将军，领匈奴中郎将。刘琨在赴任途中上表说：
“臣本来冥顽陋闭，志向也不高，由于遭逢动乱岁月和一些机遇，承担了超过我能力的重任。九月下旬启程赴并州，崇山峻岭道路险阻，敌人到处堵住了道路，我们只能以少敌众，冒危险而进军。我们置身于危难境地之中，尝够了艰辛困苦，即日到达壶口关。臣自从进入并州地界，看到无法生存的百姓，四外逃亡，十家不剩两家，他们扶老携幼，络绎不绝地奔波在流亡的路上。那些没有离家的人，卖妻卖子，有些妇幼，活生生地被抛弃，处在死亡的威胁之下，野外到处是白骨，那哀哭之声，令人悲伤。胡兵数万，遍布四山之中，人们迈开脚上路，就马上会遭到抢劫，人们一睁开眼，看到的便是贼寇。惟有壶口关这个地方，还可以买到一些粮食。而这两条通道，为九州之险，只要有几个人把住路口，那么一百个人也不敢近前，公私官差商旅往返此道，丧命的很多。我们守着一座孤城，得不到粮草供给，耕牛已被杀尽，也找不到农具从事屯垦。我自己才智短浅，面对这样的重重困难，忧思无穷无尽，寝食不安。臣认为此州虽地处偏远朔方，但也靠近皇都，南通河内郡，东达司、冀二州，北边抗击着异族，西方防御着强大的敌寇，这里是出产宝弓骏马、产生壮士猛将的地方。朝廷应当给予一些资助，以成全我们完成使命。现今以此表章上呈尚书，请为此州拨发谷米五百万斛，绢五百万匹，棉五百万斤。希陛下能及时批发臣下之表，迅速予以决断。”
朝廷同意了他的请求。
当时东嬴公司马腾从晋陽移镇邺城，并州由于土地荒废，百姓无食，于是跟随司马腾南迁，留下来的还不到两万户。由于盗贼四起，横行乡里，以致道路阻绝无人行走。刘琨招募了一千多人，一路转战来到晋陽。晋陽城内，府衙寺院焚毁已尽，横尸遍地，幸存者由于疾病饥饿而面无人色，满城荆棘丛生，豺狼乱窜。刘琨率人清除荆棘，收葬尸骨，建造府第，修缮市场牢狱。贼寇轮番前来侵袭，他们经常以城门作为战场。百姓们耕田时带着盾牌，耨地时背着弓箭。刘琨亲自慰劳安抚返回家园和前来投奔的民众，得到人民的拥护爱戴。刘元海当时驻扎在离石，相隔仅有三百里左右。刘琨派人悄悄地潜入，离间不同种族部落之间的关系，拆散其联盟，前来归降的有万余伙。刘元海非常惊慌，只好在蒲子建城而居。刘琨任并州刺史不到一年，流亡的人返回增多，村落之间又可听到鸡犬之声了。刘琨之父刘蕃也从洛陽赶来，一些无主可依的士人也多来投奔刘琨。刘琨善于怀柔安抚，而不会管理控制，一天之中，虽归来的人达到上千，可离去的人也接连不断。然而刘琨素来喜奢华豪放，爱声色之乐，虽自己一时有所控制，可不时又恢复本性放纵自己。
河南人徐润，以懂音律的特长自荐结友，常出入权贵之门，刘琨很喜欢他，让他担任了晋陽令。徐润倚仗刘琨的宠信骄横一世，干预刘琨的政事。奋威护军令狐盛性情正直坦率，多次因这事进谏，并劝刘琨除掉徐润，刘琨没有采纳。当初，单于猗..曾经救过东嬴公司马腾，因为这一功劳，刘琨上表任猗..之弟猗卢为代郡公，与刘希合兵管理中山国。王浚认为刘琨侵占了他的领地，数次来攻打刘琨，刘琨抵抗不住，因此实绩名声都受到了影响。徐润又上谗言说令狐盛的坏话：“令狐盛要劝你叛逆称帝。”刘琨被蒙蔽，就杀了令狐盛。刘琨母亲对他说：“你不能经略大业，任用豪杰，专门除掉本领比你高的人以求自安，这怎么成得了大事！像这样下去，必会牵连我们一起遭殃。”刘琨还是不听劝告。令狐盛的儿子令狐泥投奔到刘聪部下，详细讲了刘琨方面的情况，刘聪大喜，以令狐泥为向导。当时正值上党太守袭醇投降了刘聪，雁门乌丸也反叛了，刘琨亲率精兵讨伐他们。刘聪便派遣儿子刘粲和令狐泥乘虚而入偷袭晋陽，太原太守高乔献出城池投降了刘聪，刘琨的父母因此遇害。刘琨借来猗卢的兵一起奋力攻打刘粲，刘粲大败，死者十之五六。刘琨乘胜追击，但一时也不能消灭他。猗卢看到刘聪一时不会被消灭，送给一些牛羊车马后离去，留下箕澹、段繁等将领帮助守晋陽。刘琨立志为父母报仇，但苦于力量单薄，只好悲哭泣血，祭祀死者，抚慰伤病，移居于陽邑城，以招集散失的旧部。
愍帝即位，拜刘琨为大将军，都督并州诸军事，加散骑常侍、假节。刘琨上表谢恩(表文略)。
愍帝建兴三年(315)，派遣兼任大鸿胪的赵廉持节来并州，拜刘琨为司空，都督并、冀、幽三州诸军事。刘琨上表推辞了司空之衔，接受了都督之位，商定时间与猗卢共讨刘聪。当时猗卢父子之间相争，猗卢和他哥哥的儿子普根都被杀死，部落人马四散。刘琨的儿子刘遵先前在猗卢处为人质，这时无主的民众士兵都归附了刘遵。这样，刘遵和箕澹等人率领原猗卢的三万人、马牛羊十万归附刘琨，刘琨由此又壮大了力量，亲自带数百骑从平城赶来安抚慰问接纳了他们。值石勒攻打乐平，太守韩据向刘琨请求救援，刘琨认为新得到这些士卒，准备以其锐气威逼石勒。箕澹劝谏说：“这些士卒虽说都是晋人，但久居荒野边远之异域，还不熟悉朝廷的恩信，一时难以以法管理。现在内收鲜卑留下的余粮，外收胡人残部的牛羊，应闭关凭险而守，发展农垦，休养生息，等民众因教化而知感恩忠义，然后再使他们尽力，则大功可成。”刘琨不听劝告，出动全部人马，命箕澹领步骑二万人为前锋，自己带大军随后进发。石勒首先占据了险要的地势，设下伏兵以攻击箕澹，箕澹之军被打得大败，全军覆没，整个并州为之震动，惊骇不安。接着又是大旱，刘琨陷于困境不能自保。幽州刺史鲜卑人段匹石单数次写信派人来邀请刘琨，要和他一起共扶王室。刘琨因此率领部众投奔段匹石单，他们从飞狐口进入蓟县。段匹石单见到刘琨，非常敬重，和他结姻亲，约为兄弟。
当时西都长安沦陷，元帝在江南称晋王，刘琨让长史温峤劝晋王即帝位，于是河朔各地的将领守宰各族部落首领一百八十人联名上表劝进，其文在《元帝纪》中。晋王回答说：“豺狼肆意横行，倾覆了祖宗社稷，亿万百姓在盼望，抬头放眼却无所依凭。因为这些我才登上晋王之位，以答谢天下的重托，只是要重新扶持起圣主，扫荡敌人以雪国耻，怎么能随意登上皇帝的大位呢？这是我的一片诚心，远远近近都明白我的本意呀。你受朝廷代代恩宠，位极人臣，忠贞正直诚实仁义，使天地为之感动。现在要依靠你的深虑远谋，我们共同度过这艰难时期。南北相隔，心心相印，虽在万里之外，我们的心却连在一起。你在那里安抚各族民众，讨伐贼寇，有什么动静及时告知。”
建武元年(317)，刘琨与段匹石单约定讨伐石勒，段匹石单推举刘琨为大都督，歃血为誓，血书为盟，传檄各地首领，齐聚襄国。刘琨、段匹石单率部进驻固安，以等待各地义师。段匹石单的从弟末波接受了石勒的丰厚的贿赂，独独不肯出发，破坏了这次计划。刘琨、段匹石单因势力单薄只好退兵。这一年，元帝转任刘琨为侍中、太尉，其余职务不变，同时又赠送宝刀给刘琨。刘琨答谢说：“我恭敬地亲自佩带此刀，并要用它割下石勒、刘聪二贼之首。”
段匹石单之兄去世，他前去奔丧，刘琨派长子刘群护送前往，而末波则带兵于途中袭击他们，段匹石单逃走了，刘群却被末波所俘。末波盛情礼待刘群，许诺让刘琨任幽州刺史，共同结盟来对付段匹石单。派人带着刘群的书信来找刘琨，请刘琨为内应，送信使者被段匹石单的巡逻骑兵抓获。当时刘琨独自驻扎在过去的征北府小城，不知道这事，来会见段匹石单，段匹石单将刘群的书信拿给刘琨看，段匹石单说：“我并不是怀疑你，是将此事告诉于你。”刘琨回答：“我与你结为同盟，志在扶佐王室，依仗你的威望和力量，希望能雪洗国家之耻。如果我儿子的书信秘密送到我手里，我也不会因一个儿子的缘故而忘义背叛。”段匹石单敬重刘琨，开始并没有加害之意，准备让他返回驻地。段匹石单一个弟弟叔军好学有智谋，平素得到段匹石单的信任。他对段匹石单说：“我们是胡人，能够被晋人尊重，是因为他们害怕我们势力大。现在我们骨肉兄弟自相残杀，正是晋人起事的好时机，如果有人推举刘琨起兵攻打我们，我们就难以存活了。”段匹石单就把刘琨留了下来。刘琨的庶长子刘遵害怕段匹石单加害于自己，与刘琨的左长史杨桥、并州治中如绥闭门防守。段匹石单劝谕他们，他们不听，于是派兵攻打。刘琨部将龙季猛迫于无食，只好杀了杨桥、如绥投降了段匹石单。
当初，刘琨去晋陽，考虑到国家危亡而大耻未雪，也知道夷狄之人难以以义服之，希望以自己一片至诚之心，求侥幸于万一之中。他每次会见部下将佐，言辞慷慨，悲伤自己到了穷途末路，想率属下冲入敌阵于敌同归于尽。这一想法还未实行，就被段匹石单扣押了。他知道自己必死无疑，神色自如。作五言诗一首赠给别驾卢谌，诗云：
手中有一块美玉，原本出产于南方的荆山。那姜太公吕望，也曾垂钓于渭水河边。邓禹为什么那样感激，不远千里把刘秀来见。刘邦困白登有陈平救援，鸿门宴上靠张良保全。晋文公依仗五位贤良，齐桓公用管仲不计射钩之嫌。两位霸主这样兴盛，由于他们能放弃个人恩怨。半夜里我扶枕长声叹息，多么想和这些人一起恳谈。可惜我已是无能为力，梦中也见不到周公一面。谁说圣人能通达节操，乐天知命没有烦恼？孔子听说西狩获麟，不也是流下眼泪悲伤难言？功业还来不及建立，夕陽就要下山。时间不再等我，我将逝去如飘散的云烟。红果被狂风吹落，鲜花凋谢在秋天。我的车子翻倒在狭路上，伤了马也断了车辕。没想到百炼而成的精钢，竟变成柔软无用的线团。
刘琨的诗句有着深刻的内容和寄托，抒发了壮志难酬的幽愤，以遥远的历史往事为例，用张良在鸿门宴，陈平在白登解救刘邦的事来激励卢谌。卢谌素来没有过人的智慧才华，只当作一首普通的诗作予以酬和，和刘琨的愿望相差甚远，于是刘琨重新写一首赠送给他后，他才对刘琨说：“前一首诗表现的是帝王之志，不是普通做人臣的所敢谈论的。”
刘琨忠于晋室，素来有崇高的威望，被段匹石单拘禁一个多月，远近之人为之愤慨叹息。段匹石单任命的代郡太守辟闾嵩，和刘琨部下的雁门太守王据、后将军韩据一起谋划，秘密制造攻城器具，准备偷袭段匹石单。而韩据的女儿被段匹石单的儿子纳为妾，她得知这一情况后报告了段匹石单，于是段匹石单逮捕了王据、辟闾嵩并杀了其他同党。正好此时王敦密令段匹石单杀刘琨，段匹石单害怕部下因刘琨事反叛，遂宣称有诏书命他收捕刘琨。开头，刘琨听说王敦的使者到了，对儿子说：“王处仲的使者来了却不让我知道，是要杀我呀。生死自有天命，只是恨大仇未报，怎么去见九泉之下的双亲。”因而感叹悲泣不能自胜。段匹石单缢杀了刘琨，时年四十八岁。子侄四人一起被害。朝廷考虑到段匹石单力量还较强，可以替朝廷讨伐石勒，所以不为刘琨举哀祭奠。
大兴三年(320)，刘琨旧部从事中郎卢谌、崔悦等上表为刘琨辩冤。(表文略)
太子中庶子温峤又上疏为刘琨申诉，元帝这才下诏说：“已故太尉、广武侯刘琨忠诚坚贞，辅佐朝廷，救济民众，倾心王室，不幸遇难，壮志不遂，朕甚为哀悼。过去在战乱之中，未能予以吊祭。现在幽州事毕，便依旧礼予以吊祭。”赠刘琨为侍中、太尉，谥号为“愍”。
刘琨从小就怀大志，有纵横天下之才，善于结交才能比自己强的人，但喜欢说夸张的大话。他和范陽祖逖是朋友，听说祖逖被朝廷任用，在给亲友的书信上写道：“我每日枕戈待旦，立志剿灭逆贼，常常担心祖逖赶到了我前面。”其昂扬的意气和自信就是这样。在晋陽时，曾被胡人骑兵包围数重，城中无计可施，刘琨乘着月色登上城楼，舒声清啸，城下敌人听到后，都为他凄然长叹。半夜时又奏胡笳，敌人听到都嘘口希流泪，有思家之念。天亮时再次吹奏，敌军撤围而去。其子刘群承袭了他的爵位。