陈伯之，济陰睢陵人。年幼时有体力。十三、四岁时，喜欢戴着獭皮帽子，佩带刺刀，窥伺邻居的稻子熟了，就偷偷地去割。曾经被稻田的主人发现，斥责他说：“小孩子不要动我的稻子！”陈伯之对稻田的主人说：“你的稻子这么多，割一担有什么要紧？”稻田的主人准备捉住他，陈伯之就执着刀上前，准备刺杀稻田的主人，说：“小孩子就是这样！”稻田的主人都回身走了，陈伯之慢慢挑着稻谷回家。到长大之后，在钟离境内多次抢劫盗窃，曾经当面窥看人家的船，船上的人用刀砍他，割下他的左耳。后来跟着同乡车骑将军王广之，王广之喜爱他的勇敢，每天晚上让他睡在下铺，征讨时经常让他跟随着一道。
齐安陆王子敬任南兖州刺史，拥兵自卫。明帝派王广之讨伐子敬，王广之到达欧陽，派陈伯之作先锋，乘着城门开着，陈伯之单独入城斩杀了子敬。又多次立下战功，因功多次升迁冠军将军、骠骑司马，被封为鱼复县伯，食邑五百户。
义师举事，东昏借给陈伯之符节、督前驱诸军事、豫州刺史，将军如同从前。不久迁调到江州，凭依寻陽抗拒义军。郢城平定之后，高祖得陈伯之车主苏隆之，让他劝说陈伯之，就委任陈伯之为安东将军、江州刺史。陈伯之尽避接受了任命，但还怀有贰心，假称“大军不须便下”。高祖对众将领说：“陈伯之这种答复，他的心尚未安定，还在犹豫，应当逼迫他。”众军于是驻扎在寻陽，陈伯之退而保守南湖，然后归附高祖。晋号镇南将军，与众军都退去。陈伯之停留在篱门，不久进驻西明门。建康城还未平定，每有投降的人出城门，陈伯之就唤来同他耳语一番。高祖担心他又怀变异之心，私下里对陈伯之说：“听说城中人很忿恨你举江州投降，打算派刺客来行刺你，你应引以为忧。”陈伯之不相信这件事。恰逢东昏将领郑伯伦投降，高祖让他捎话给伯之，郑伯伦对陈伯之说：“城中人很忿恨你，打算送信引诱你以讨封赏。等待你再次投降，当即割去你的手和脚；你若不投降，又打算派刺客来杀你。你应作好充分防备。”陈伯之害怕了，从这之后对高祖再无异心。奋力作战立下战功。建康城平定之后，晋号征南将军，封丰城县公，食邑二千户，派他回到江州。
陈伯之不识字，到他回到江州，得公文诉讼，只作大诺而已。有事情，由典..传他的话，取舍由主事的人决定。
陈伯之与豫章人邓缮、永兴人戴永忠两人有交情，邓缮曾经隐藏陈伯之在英地停息以免除灾祸，陈伯之尤其感恩于他。到陈伯之任江州刺史时，任用邓缮为别驾，戴永忠为记室参军。河南人褚绢，京城的一个品行不端的人，齐朝末年任扬州西曹，动乱期间居住在闾里；轻薄的人都能求得一官半职，只有褚绢没能显达。高祖即位，褚绢多次拜访尚书范云，范云不喜欢褚绢，坚决拒绝他。褚绢更加忿怒，私下里对他的知己说：“建武以后，民间普通的人都变成贵人，我犯了什么罪而被遗弃。现今国家刚刚建立，人民饥饿不已，动乱尚不可知。陈伯之拥强兵在江州，责怪魏国派来的使臣，有自我疑惑之意；况且迷惑守斗宿，难道不是我出入的地方吗？现今我去那里，事情如果不能成功，到魏国，何必惶恐减作河南郡守呢。”于是褚绢便投奔陈伯之书佐王思穆事奉他，大被亲近。到陈伯之同乡人朱龙符任长流参军，一同乘陈伯之愚笨昏暗，恣意妄为邪恶险毒，刑罚政令滞塞，一切事都由他俩独断专行。
陈伯之的儿子虎牙，当时任直..将军，高祖亲自分条陈述朱龙符的罪状，亲自交给虎牙，虎牙将它给陈伯之看；高祖又派人取代江州别驾邓缮，陈伯之并不接受命令，答复高祖说：“朱龙符是勇猛健儿，邓缮主事有成绩有功效，朝廷所派的别驾，请求委任为治中。”邓缮于是不断地劝说陈伯之说：“官署府库空竭，又没有军器，三仓没有粮米，东部郡境饥民流浪，这是万载难逢的好时机，好时机不可失去。”褚绢、戴永忠等人都赞成。陈伯之对邓缮说：“这一段起用你，如果还是不行，便与你同下属一起谋反。”高祖下令在江州的一郡安排邓缮。陈伯之于是召集府州佐史对他们说：“奉齐朝建安王令，率领江北义勇十万，已经驻扎在六合，奉命以江州之力运粮速往。我承蒙明帝厚恩，誓死报恩，现在便紧急夺取预备治理。”派褚绢假写萧宝夤信，把它给同僚看。在厅事前筑坛，杀牲宣誓，陈伯之先饮，长史以下挨次饮血宣誓，褚绢对陈伯之说：“现在举大事，应该招致众望。程元冲不与我们同心；临川内史王观是王僧粲的孙子，人不坏，便可召他任长史，以取代程元冲。”陈伯之听从了他的意见，于是便委任褚绢为寻陽太守，加封讨逆将军；戴永忠为辅义将军；朱龙符为豫州刺史，率领五百人坚守大雷。沈慧休任大雷戍主，李延伯任镇南将军。又派同乡人孙邻、李景接受朱龙符的调遣，孙邻任徐州刺史，李景任郢州刺史。豫章太守郑伯伦起用郡兵拒守。程元冲已经失去官职，在家里集中数百人，派陈伯之的典..吕孝通、戴元则做内应。陈伯之每天早上常作歌舞之乐，日落就睡，左右伺候的人都去休息。程元冲乘着陈伯之松懈，从北门进去，径直来到厅事前。陈伯之听到叫喊声，亲自率兵冲杀出来，程元冲抵挡不住，逃至庐山。
起初，程元冲起兵，相约寻陽张孝季，张孝季接受了程元冲的建议。不久被打败，陈伯之追拿张孝季不成，拿得孝季的母亲郎氏，以灌蜡烛的方式杀了张孝季的母亲。陈伯之送信到京都告之虎牙兄弟，虎牙等人逃至盱眙，盱眙人徐安、壮兴绍、张显明中途截击，不能制止，反而被虎牙兄弟所杀。高祖派王茂攻打陈伯之。陈伯之听说王茂前来，对褚绢等人说：“王观既然不接受任命，郑伯伦又不肯响应，就必然空手受围。现在首先平定豫章，开通南路，更多地征发人丁，增加军粮的运输，然后席卷北去，以进击饥饿疲乏的大军，不愁不成功。”于是留下同乡唐盖人守城，都相继领兵奔赴豫章。豫章太守郑伯伦坚守城池，陈伯之不能攻下豫章。王茂前军已经到达，陈伯之腹背受敌，便败走，从小路逃出江北，同儿子虎牙及褚绢都进入魏国。魏国封陈伯之为使持节、散骑常侍、都督淮南诸军事、平南将军、光禄大夫、曲江县侯。
天监四年(505)，诏令太尉、临川王宏率众军向北讨伐，宏命记室丘迟私下里写信给陈伯之。
陈伯之便在寿陽拥兵八千归附高祖。虎牙被魏人所杀害。
陈伯之已经到达，封使持节称号、都督西豫州诸军事、平北将军、西豫州刺史、永新县侯，食邑一千户。未到任，又委任陈伯之为通直散骑常侍、骁骑将军，又任太中大夫。过了一段时间，死在家里。他的儿子还有在魏国的。
褚绢在魏国，魏国人打算提拔任用他。魏国民众聚会，褚绢嘲弄地赋诗说：“帽上戴着龙冠，礻夸上穿着朱衣，不知是今日的是，不知非昔日的非。”魏人忿怒，出封褚绢为始平太守。每天打猎，坠马而死。