牛存节，字赞贞，青州博昌人。本名叫礼，梁太祖给他改了名并取了字。少年时以雄健勇敢自负。唐乾符末年，同乡诸葛爽任河阳节度使，牛存节前往追随他，诸葛爽死后，牛存节对同辈人说：“天下动荡，当选择英明主人服事他，以图富贵。”于是归顺太祖。开始时任宣义军小将。遇上蔡州贼寇到了金堤驿，侵犯酸枣、灵昌，牛存节每天与他们战斗，共迎战二十多次。每次必定俘虏敌人而回，前后斩首二十多级，抓获牲畜很多。太祖在板桥、赤岗、酸枣门、封禅寺、枯河北面攻打蔡州贼寇，牛存节都参与战斗。与诸将在濮州南刘桥、范县大破郓州部众，从此深为太祖褒奖知遇。
文德元年(888)夏天，李罕之率领并州军队在河阳包围了张宗..，太祖派牛存节领军奔赴支援张宗..。遇上年成欠收，没有人劳师饷馈，村民中有储存干木甚果的，牛存节用器物、钱布做交易，以供给军中粮食。在氵贝河大破贼军，李罕之领着部众向北逃走。又参与征讨徐州、宿州有功。到征讨黄河以北时，牛存节充当先锋攻下黎阳，收复临河，进到内黄以西，领兵一千多人抵挡魏州一万二千部众，大破敌阵，僵尸蔽野。太祖深深感叹，说有神兵的帮助。
大顺元年(890)，改任滑州左右厢牢城使。与诸将征讨时溥，多次打败贼军。景福元年(892)秋天，改任遏后都指挥使。在进攻濮州的战役中，领军率先登上城墙，于是占领敌人营垒。二年四月，攻下徐州，杀死时溥，牛存节奋力战斗，他的功劳最多。乾宁二年(895)，被授予检校工部尚书。三年夏天，太祖东讨郓州，牛存节领军驻扎故乐亭，扼守要道，都指挥使庞师古驻扎在马颊，牛存节暗中与都将王言筹划攻占郓州城。十二月，牛存节派王言在夜晚埋伏勇士在州城西北，用船渡过濠沟，搭梯子登上矮墙。后来王言不能攻进州城，牛存节独自率领埋伏的部队背负梯子驾着攻城战车攻破州城西边的瓮城，夺取了濠桥，各路军队一齐奋进。四年四月，攻陷郓州城，旋即与葛从周一同降服攻下兖州，被加封为检校右仆射。
那年秋天，梁军大举进攻淮南吴国，到濠州东面，听到先头部队在清口失利，各路军队都退到淠河，溃乱不成队伍。牛存节断后，各位将领都放弃坐骑，徒步格斗，使各军逐渐得以渡过淠河，收聚部下败兵共八千多人，到达淮河水边时，已有四天没有进食了。牛存节训导激励各部，以抵御追击的敌寇，才得以回师。五年，任亳州刺史，不久迁任宣武军都指挥使，改任宿州刺史。第二年，淮南吴军大举攻到彭城，牛存节于是领部下士兵连夜出发，直奔彭门，淮南人惊讶他的神速，震怖惊恐而退，各将都佩服他的智略胆识。
光化二年(899)，罢归，又复任左衙大将兼马军步军教练使。天复元年(901)，任潞州马军步军都指挥使，法令严整，军民安定。到前往皇帝出行所在地时，士卒们哭泣相送，不绝于道。加封金紫光禄大夫、检校司空，改任滑州左衙步军指挥使，管理邢州军政事务。天..元年(904)，任邢州团练使。当时邢州兵士才二百人，晋人知悉后，率领大军前来侵犯。太祖在邺城，发长直兵二千人奔赴支援，牛存节率勇健壮士出战，用私家财产赏赐激励战士，并州晋军紧急进攻，七天不能获胜，就退走了。太祖召来牛存节，慰劳他很久，厚赐给金钱布帛鞍马，加封为检校司徒。冬天，撤军，暂任元帅府左都押衙。四年，太祖接受禅让的帝位，任牛存节为右千牛卫上将军。那年秋天，进攻潞州，以牛存节为行营马军步军都排阵使。
开平二年(908)二月，自右监门上将军转任右龙虎统军，驻守洛下。这年朝廷军队在上党战败，晋人乘胜挺进逼近泽州，州城即将陷落。河南留守张全义召来牛存节共谋，牛存节即率本部军士及右龙虎军、羽林军等前往接应上党。军队开到天井关，牛存节对各位将领说：“此次出征，虽然不是奉行皇上诏旨，但泽州为要害之地，不可让它失去。”这时晋人刚获胜利，兵势强盛，牛存节领军向前，连夜疾行暗至泽州，恰逢守卫矮城的人已经放火呐喊，以响应城外晋军，刺史保守衙城，不知怎么办。牛存节才进城，晋军就来到了，牛存节于是分兵把守。晋军四面进攻，开掘地下通道以入城，牛存节也用隧道来对付，在地下迎战，晋军不能前进。牛存节又用强弓射击他们，中箭者都洞透身体，历时十三天，晋军伤亡众多，便焚烧军营而退，泽州得以保全。太祖多次赞叹奖励他。五月，迁任左龙虎统军，充任六军马步总指挥使。十月，任绛州刺史。
开平三年(909)四月，任..州留后。六月，刘知俊据同州反叛，牛存节旋即任同州留后，不久，加封检校太保、同州节度使。乾化二年(912)，加封检校太傅，进封开国公。牛存节严整军旅，总像大敌将至。在这以前，同州井水咸苦，人不能饮用，到并州人、岐人前来逼攻州城时，有人认为兵士干渴困乏，陷落将在旦夕。牛存节于是谨肃叩拜虔诚祷祝，选择地方开凿八十多口井，井水味道都甘淡，因此人马饮用洗涤有余，大家都认为是牛存节的至诚感动了神灵。从乾化二年八月到来年春末，人马未曾卸下铠甲，直到敌寇退走。接着加封为同平章事，召赴京城，末帝召见慰勉，赏赐甚厚。十一月，加封开府仪同三司，食邑一千户，任郓州节度使。四年，加封淮南西北面行营招讨使，控制扼守淮河岸边，边境安宁。
那年冬天，蒋殷据徐州叛逆，牛存节正领大军戍守颍州，得悉蒋殷阴谋，便密报朝廷，立即奉诏与刘寻阝共同讨伐他，驻扎維上。淮南吴军大将朱瑾领兵援救蒋殷，离宿州六十里。听到牛存节大军来到，便丢下粮草抛弃兵甲而逃，牛存节终于平定了徐州。夏天牛存节患糖尿病，正逢河北用兵，末帝命他领军屯驻阳留以加强刘寻阝的势力。牛存节忠心更挚，不言生病，对付敌人带领部队，更加日夜奋发。病重，诏令回到汶阳，第二天就去世了。临终前，告诫他的儿子牛知业、牛知让等要竭尽忠孝，而不谈及其他事。诏令册赠他为太师。牛存节勇武慷慨，有大节操，野外攻战，坚城固守，都是他所擅长的，威名闻名境外，深为末帝倚重，而木讷坚强忠厚，又有贾复的风概。