刘大夏，字时雍，湖南华容人。父亲刘仁宅由乡试举人任职为瑞昌知县。一千多家流民匿藏在山中，巡逻兵士索取不到财物，就诬告流民谋反，朝官商议增加军队，刘仁宅单人骑马前去招抚，流民争着出山诉说实情，最后停止出兵，刘仁宅被提升为广西副使。
刘大夏二十岁以乡试第一名中举。天顺八年(1464)，考中进士，选为庶吉士。成化初年，翰林院拟请留职，他自己要求出任吏职，于是就任命他为职方主事，又调升郎中，通晓兵事，宫署里的积弊全都革除。他所奏复的大多很合皇帝的旨意，尚书把他当作左右手。汪直好邀边功，安南黎灏被老挝打败，汪直想趁机攻取黎灏。他对宪宗说了，就索取永乐年间讨伐安南的文书。刘大夏藏着不给，并秘密地向尚书余子俊说：“兵祸一开，西南立刻就完了。”子俊醒悟，这事情遂得停止。朝鲜以前入贡都是从鸦鹘关进来，这时要求改从鸭绿江进入。尚书准备答应其请求，大夏说：“鸭绿江的通道，祖宗朝岂有不知的，而从鸦鹘关开道迂回几个大镇，这恐怕另有深意。不能批准。”此请未获明政府同意。宦官阿九的哥哥任京卫经历，因犯罪被大夏处以笞刑。阿九怀恨在心，宪宗听信了其对大夏的诬陷之言，将大夏抓起来下到诏狱，经东厂侦察无所得。赶上怀恩极力相救，被判杖二十而释放。十九年(1485)，调升福建右参政，以政绩突出而闻名。大夏听说父亲去世，一宿就动身奔丧。
弘治二年(1489)，大夏服满，调升广东右布政使。田州、泗城不安定，大夏前往告诫，事情很顺利地解决了。后山贼起，大夏奉檄文讨伐。他令部下只许活捉，验明为贼才杀，有一半人获得生还。改为左布政使，调往浙江。
六年(1493)春，黄河在张秋堤防决口，皇帝下诏博选才臣前往治理。吏部尚书王恕等推荐刘大夏，提升大夏为右副都御史前往。到职后，在黄陵冈疏通贾鲁河，又疏通孙家渡和四府营上游，以分水势。从胙城经过东明、长垣到徐州修筑长堤，共三百六十里长。水灾得到根治，张秋镇改名为“安平镇”。孝宗嘉奖大夏，赐玺书褒奖他，详载《河渠志》。召他为左副都御史，任职户部左侍郎。
十年(1497)大夏受命兼佥都御史，前往宣府处理兵饷。尚书周经对他说：“塞上有权势家族的子弟以买卖粮食谋取私利，你不要因刚直招祸。”大夏说：“处理天下事，以理不以势，待我到后解决。”当初，塞上必须粟千石方能买入、草万束才得收进。由此宦官、武臣得以操纵市场，获取厚利。大夏下令有粮草的，草百束、粟十石以上都准许买卖，权势之家想牟利也落了空。不到两个月府仓储积有余，边人蒙受其利。第二年秋，大夏连上三疏称病辞官，归乡后在东山下筑草堂，在堂中读书。过了二年，廷臣纷纷举荐大夏，起任右都御史，统管两广军务。奉旨使者上门，大夏带二僮仆起程。两广人故来思念大夏，得知他即来任职都欢欣鼓舞。大夏到任后，清理吏治，减免官费供应，禁止镇守官私自役使军士，盗贼因此逐渐减少。
十五年(1502)刘大夏任兵部尚书，屡次推辞不掉才接受。不久，孝宗召见他，孝宗说：“朕数次任用你，你数次称病而去是为什么？”大夏磕头说“：臣年老又有病，看见国家民穷财尽，倘若有所不测，责任在兵部，自己估量力不从心，因此而辞。”孝宗听了沉默不语。南京、凤阳大风将树拔起，河南、湖广发生水灾，京师久雨成灾。大夏奏请凡属非祖宗留下的旧制而危害军民的，一一列举呈上革除。十七年二月，又奏请。孝宗命有关部门呈报所应实行与该革除的事例，有关部门全都按实奏报，时逢廷臣奏陈十六件事，都是对权贵所不利的，因此权贵们极力阻止，孝宗拿不定主意，下廷议再讨论。大夏等说：“事属朝廷外官，全都批准。稍稍涉及权贵，又令讨论核实。臣等很愚蠢，不知为什么？”许久，才得旨“：将传奉官的姓名奏疏上报，幼匠、厨役月每减米三斗；增设宦官、司礼监核实奏告；四卫勇士，御马监将名册报来。其余全照前次所议办理。”织造、斋醮都停办，仅俸禄就节省很大数目，而勇士虚报冒领之弊也大为减少。皇帝的命令一下，举朝欢悦。先前，外戚、近幸都不是以功受爵，而是出于皇帝的私恩，孝宗深知这样于政有害，发奋振作朝纲。因灾异多次出现，又告谕群臣，令各陈朝政的过失。大夏又奏陈数事。
这年六月大夏第二次奏陈兵政的十害，并且要求辞官回乡。孝宗不答应，要他将各应该革除的弊端更详细地全部奏闻，于是，大夏举出南北军队陆路水路轮流值班运粮的劳苦，以及边军困倦疲惫、边将克扣的情况全都奏报。孝宗于是在便殿召见大夏，问道：“卿先前说天下民穷财尽。祖宗以来征收有常法，为什么现在这样？”大夏回答“：就是说没有按常法征取。如向广西每年取铎木，从广东取香、药，花费以万来计算，其他就可想而知了。”孝宗又问到军队，他回答：“与百姓一样穷。”孝宗说：“居有月粮，出有行粮，什么缘故会穷？”大夏答道：“其帅克扣超过一半，怎会不穷？”孝宗叹息道：“朕执政这久，还不知天下军民贫困，怎样做人君！”于是下诏严禁。当时，孝宗正锐意太平，而以刘健为首辅，马文升以兵部尚书领导六卿，一时正人君子占据各个部门。孝宗察知大夏正直严谨，并且办事熟练，尤其信任他。数次召见他判别事情，大夏也在各事上为皇帝尽力。
大同发生小的战事，孝宗听信宦官苗逵的话，准备出兵。内阁刘健等竭力劝阻，孝宗仍犹豫不决，召大夏问道“：卿在两广，知道苗逵捣毁延绥巢穴的功劳吗？”大夏答道：“臣听说，俘虏十几个妇女儿童而已，托朝廷威德，全师返回。不这样的话，后果就难说了。”孝宗沉默好久，问道：“太宗频频出塞，现在为什么不行？”大夏回答“：陛下的才干固然不比太宗差，而将领士马远不及太宗时期。如果淇国公稍许违背节制，将数十万兵众委之于沙漠，怎么能说是容易之事。臣揣度现在上策只有防守而已。”都御史戴珊也从旁边表示赞同，孝宗醒悟地说：“要不是你们劝说朕几乎误了大事。”于是果然没再出兵。
庄浪土著首领鲁麟任甘肃副将，求升大将不成，恃其部众强，擅自回到庄浪。廷臣担心其生变想授鲁麟大帅印，又想召他回京师，安置在不紧要的地方。大夏请求奖励其先世忠顺，而听任鲁麟闲居。鲁麟向来凶狠残暴失去众人之心，没有兵权无法有所作为，最后闷闷不乐而病死。
孝宗要在京城附近驻兵作为左右辅佐，大夏说：“保定设都司统率五卫，祖宗之意也是如此。请遣还操练军士，一万人作为西卫，将驻扎在密云、蓟州的军队作为东卫。”孝宗批准了。监督京营的宦官怨恨失去兵权，在宫门上贴小字报。孝宗以此给大夏看，并说：“宫门外人岂能进来，必定是某些不愿失去兵权的人所为。”由此，阴谋未得逞。
孝宗曾经对大夏说“：遇到事情总想召卿来商量，又担心超越卿职权范围而作罢。以后有事情的实行或罢止，卿用揭帖(文书)呈上来。”大夏磕头说“：对事情的决定，外边的交付政府部门，内部的向阁臣咨询就行了。揭帖易滋长弊病，不可作为后世效法。”孝宗称好。又曾问“：天下何时太平？”大夏答道“：求治不能太性急，不过用人行政全都与大臣面议，恰当的再实行，时间长了天下自然太平。”大夏曾经趁机提到四方镇守宦官的危害。孝宗询问详情，大夏答道：“臣在两广见到诸文武官的供应比不上一个镇守，其耗费可知。”孝宗说：“祖宗设置这些已很久，怎能一下子革除。不过从现在开始必须像郑原、麦秀那样廉洁的才能任用，不然则罢免之。”大夏磕头称好。大夏每次被召见，跪在御床前，孝宗往左右一看，近侍都退避走了。大夏曾有时回答问题时间长了，疲惫得起不来，孝宗就喊司礼太监李荣扶他出去。一天早朝，大夏本该当班，孝宗碰巧没见到他，第二天告诫大夏说：“卿昨天未上朝吗？担心御史纠察，没有立即召见您。”其受孝宗宠爱如此深。特别赐他玉带、麒麟服，送金币、上等醇酒，岁时不断。
不久，孝宗去世，武宗即位，大夏奉遗诏请求撤去非定额内的四方镇守宦官。武宗只撤去均州齐元。大夏又主张应撤去镇守宦官二十四人，又奏减皇城、京城守卫宦官，都未被接受。不久，大夏列举应当淘汰的传奉武臣六百八十三名，被批准。大汉将军薛福敬等四十八人也该削去官职，薛福敬等故意不入宫侍奉来激怒武宗。武宗立即命恢复薛等官职，而要求兵部回答详情，意欲加罪。宦官宁瑾磕头说：“这些是先帝遗命，陛下列入登基诏书，不宜问罪。”武宗才放弃追查此事。宦官韦兴在成化末年因有罪被长期罢官，这时靠巴结得以镇守均州。言官纷纷谏阻，大夏等再三争辩，武宗都不理。正德元年(1506)春，大夏又奏道：“镇守宦官，如江西董让、蓟州刘琅、陕西刘云、山东朱云贪婪残暴尤其厉害，请求审查惩处。”武宗不高兴。大夏知道自己意见不被采纳，数次上奏章请求辞官。这年五月，武宗下诏加封他太子太保，同意他返乡赐敕书、车马返回，按旧制供应粮食和役仆。给事中王翊、张衤会请求留住大夏，吏部也要求留大夏，武宗不理。
大夏忠实诚恳，为孝宗所信任，忘我报国，对权贵近幸多行抑止。曾经要求严格考核勇士，为刘瑾所恨。刘宇也恨大夏，就与焦芳一起在刘瑾面前进谗言道“：抄刘大夏的家，可得边费的十分之二。”三年九月，借田州岑猛的事，将大夏逮捕下到诏狱。刘瑾要以激变罪判大夏死刑，都御史屠氵庸不同意，刘瑾谩骂道：“即使不死，可以不去戍边吗？”李东阳从中调解，刘瑾探知刘大夏家贫穷，就判其到最偏僻的边境戍边。起初拟戍广西，焦芳说：“是送他回去吗？”于是改戍肃州。大夏已有七十三岁，穿着布衣徒步经过大明门磕头而去。观者都叹息流泪，父老百姓携筐送吃的，大夏所到之处，人们为之罢市、烧香祝刘尚书生还。等到了戍所，各部门怕得罪刘瑾，不送食品不来慰问，儒学生徒送吃食给他。一到操练，大夏总是扛戈站进队伍。主管人再三推辞，大夏说：“军人本来就该服役的。”他只带来一个仆人。有人问他为什么不带子孙，他说：“我为官时，不为子孙捞好处。现在年老被罚，怎忍心令他们同我一起死在戍所呢？”大夏已经遣去戍边，刘瑾还借其他事二次罚他送米塞上。
五年夏，大夏被赦免返乡。刘瑾被诛杀，恢复他官职，后退休。清军御史王相请求恢复大夏月粮和年役，录用其子孙。主事的宦官始终恨他，不答应。大夏回家后，教子孙种田谋生。稍有盈余，就分送给故旧宗族。预先自作墓志铭，并说“：不要让人用饰美之词，让我怀愧于地下也。”十一年五月去世，享年八十一岁。追赠太保，谥号忠宣。
大夏曾说“：做官以正己为先。不仅应当戒绝货利，也当远离浮名。”又说：“人生盖棺定论，一天未死，就一天不能停止为国分忧。”他被逮捕时正在园中锄菜，进房拿了数百钱，坐上小驴就走。赦免回来，有个门生做了巡抚，弯曲百里路去看大夏，路上遇到扶犁的人，就问哪是尚书家，扶犁的人引巡抚进屋，原来扶犁者就是刘大夏。朝鲜使者在鸿胪寺馆遇到大夏同邑的读书人张生，就问起大夏说“：我国久闻刘东山大名啊！”安南使者进贡时说：“听说刘尚书戍边，现在平安吗？”大夏是如此为外国所看重。