段秀实字成公，本是姑臧人，他的曾祖父师浚，出任陇州刺史，留在那里没有回家乡，于是变为..阳籍人。秀实六岁时，母亲病重，他急得七天不吃不喝，母亲病情好转才肯吃饭，当时人们称他为“孝童”。到长大了，深沉忠厚，能决断，慷慨激昂有救天下的志向。被推荐为明经，他的朋友轻视他，秀实说：“搜章摘句，凭这本事不能为国立功。”就放弃了。
玄宗天宝四年(745)，跟随安西节度使马灵鮞征伐护蜜有功，任安西别将。
灵鮞罢官后，又跟随高仙芝。仙芝征伐大食，围困了怛逻斯城，碰到敌人救兵来了，仙芝的军队撤退，部下都失散了。秀实在暗夜中听到副将李嗣业的声音，认出他，就批评他说：“害怕敌人而逃跑，是不勇敢，为了自己脱险而让大家陷入危难，是不仁义。”嗣业听了很惭愧。于是与秀实召集逃散的士兵，又组成了军队，回到安西，请秀实任判官，接着升任陇州大堆府果毅。后随封常清征伐大勃律，驻扎在贺萨劳城，与敌人作战打胜了，常清追击败兵，秀实说：“敌人派出老弱的士兵，是引诱我方，请大规模搜索。”搜获了所有伏兵，敌人全军溃败。这之后，改任绥德府折冲都尉。
肃宗在灵武避难，下诏调李嗣业率五千安西军到自己行宫。节度使梁宰想逗留观望形势的变化，李嗣业暗中答应了，秀实责备他说：“天子正危急，臣子却想安逸，你经常自称为大丈夫，现在真如同妇孺！”嗣业因此坚决请求梁宰发兵。
于是向东进兵，用秀实为副帅。李嗣业任节度使，秀实正守父丧，嗣业上表起用他为义王的助手，充任节度使判官。安庆绪奔逃到邺城，李嗣业与众将领围困了他，把作战物资放在河内，安排秀实兼怀州长史，主持怀州事务，还兼留后。当时军队疲劳，钱粮缺少，秀实接连不断地督运粮草，招兵买马，充实前线军队。各路军队在愁思岗激战，李嗣业中流箭阵亡，众将推举荔非元礼代管嗣业的军队。
秀实听到这件事，立即送信给白孝德，让他派兵护送嗣业的灵柩到河内，秀实亲自与文武官员到县境迎接，并拿出全部私人钱财给嗣业办丧事。元礼推崇他的义气，奏请朝廷提升他为光禄少卿。不久元礼被部下所杀，下属将领也被杀多人，只有秀实因为为人恩义诚信，被士兵们敬服，都在他的周围跪拜，不敢杀害他，将士们另外推举白孝德任节度使。
秀实共辅佐三任节度使，更加知名。
当时吐蕃偷袭京城，代宗走避陕州，秀实劝孝德当日就进军救援。孝德移军..宁，命秀实代理支度营田副使。这时..宁缺粮，于是请求在奉天驻军，想仰仗京城郊县供应粮草。当时国家粮仓空虚，县府官吏真不知道从哪里弄粮草供应军队，都逃走了，军队就散开抢掠，孝德制止不住。秀实说“：如果任用我做军侯，哪能乱到这地步呢？”司马王稷报告了这事，于是令秀实掌管奉天行营的军务，号令严明，军中畏惧，停止违纪。回师后，孝德推荐秀实任泾州刺史，朝廷封他为张掖郡王。
这时候郭子仪以副元帅的职位驻扎蒲州，他的儿子郭..以检校尚书的职位任行营节度使，驻扎..州，放纵士兵，不守法纪，..州中一贯作恶的人，行使贿赂，在军队里挂个名，混个军籍，就肆意胡为，地方官吏不能过问。他们白昼结伙在街上强索市民财物，不满意，就打伤市民，砸碎的锅盆碗盏，满街皆是，甚至撞伤撞死孕妇。孝德不敢治他们的罪，秀实从泾州写信告诉白孝德，希望能谋划这事，到节度使府就说：“天子把老百姓交给您治理，您看见百姓被残害，却无动于衷。将来出大乱子，怎么办？”孝德说“：请教给我办法。”秀实趁机请求说：“我不忍心没有敌人侵犯而百姓被残害死，扰乱天子的边防。您果真让我任都虞候，便可替您结束祸乱。”孝德就写了文告签了名，张贴在军中。不一会，郭..的十七个士兵到街上买酒，刺伤卖酒的老头，捣毁了酿酒的器具，秀实摆开士兵，逮捕了他们，并斩首，将头挂在长矛上，竖在街口示众。郭..的整个军营鼓噪起来了，士兵都穿上铠甲。孝德害怕，叫来秀实说“：怎么办？”秀实说“：让我到军中去说说。”于是解下佩刀，选一个又老又跛的兵牵马，到郭..军营门口，穿着铠甲的士兵都围上来，秀实笑着走入军营，说：“杀一个老迈的兵，还用穿甲衣，我戴着头来了。”穿甲衣的士兵惊愕地瞪着眼。秀实趁机开导说“：尚书一向对不起你们吗？副元帅一向对不起你们吗？
怎么想制造祸乱败坏郭家呢？”郭..出来，秀实说：“副元帅功满天下，应该保持始终，现在尚书放纵士兵做残害百姓的事，让他们扰乱天子的边防，将归罪于谁？将归罪到副元帅。现在..州的恶少行使贿赂，在军籍中混个名，杀人害命，混乱到了这个地步，还有几天边防不大乱？这乱子是尚书造成的！人们都说尚书仗着副元帅的权势不制止士兵胡为，那么郭家的功劳荣誉将有多少能保存？”
郭..向秀实拜了两拜，说：“幸亏您教导我，愿意让全军服从你的管束！”立即呵斥左右的士兵都脱下甲衣，下令说：“敢喧哗者死！”秀实说：“我没有吃午饭，请安排我吃饭。”饭后，又说：“我的病发了，希望在你营中住。”于是就睡在军营中，郭..非常害怕，告诫放哨的士兵敲梆保护他。天亮后，与秀实一起到孝德住所赔罪说自己无能。..州从此安定了。
当初，秀实任营田官，泾州大将焦令谌夺占百姓的田地为自己所有，又转租给农户，约定粮食成熟收一半租。这年大旱，农户报告没有收成，令谌说“：我只知道收租，不知大旱不大旱！”催逼紧，农户没粮交租，到秀实处诉说。秀实写了块牌免了他的租，接着派人恭谨地告诉令谌。令谌发怒，唤来农户斥责说：“我怕段秀实吗？”把牌放在农户背上，打了他二十大棍，抬到秀实的大堂中。秀实流着泪说“：是我让你受苦了。”就撕下自己的衣裳为他裹伤上药，卖自己的马来代他还租。淮西将领尹少荣很刚直，进去骂令谌说“：你真的是个人吗？泾州旱得遍野如赤，百姓都饿死了，而你一定要得到租谷，打无罪的人。段公是仁厚诚信品德高尚的长者，只有一匹马，卖了买粮交给你，你收取他的粮还不感到羞耻。
凡是做人傲视天灾，冒犯德行高尚的长者，打无罪的人，在奴隶面前都应感到羞愧！”令谌听了，羞愧得直流汗，说“：我以后没有脸去见段公！”一天晚上，自己悔恨而死。
马瞞代替孝德的职位，遇事常常同秀实商量。马瞞决断处理不恰当的，秀实坚持争辩，不答应不罢休。开初，马瞞驻在泾州城，秀实任留后，因为勤恳加封为御史中丞。大历三年(768)，这支部队从京城郊外地区迁驻泾州。该部从四镇、北庭奔赴国难，征战中多次立功，突然移驻，士兵相互发怨言。别将王童之阴谋叛乱，约定说：“听到报警的鼓声就跑散。”秀实知道了，召来击鼓的人，假装为他敲鼓失去节奏而生气，告诫他：“每刻计时筹码用完应当报告。”因此延迟了几个时刻，敲完第四更鼓天就亮了。第二天，又有人报告秀实说：“今夜烧草库，约定趁救火叛乱。”秀实严加警备。半夜里果然起火，秀实在军中下令说：“敢去救火的斩首！”王童之住在营外，请求进军营，秀实不准。第二天逮捕了王童之，连他的同党八人一起斩首示众，号令说：“后迁营的杀全族！”部队于是迁到泾州。
当时仓库里储粮不多，外城没有居民，朝廷为此担心，命令马瞞管辖郑、颍两州来资助军队，命令秀实任留后。军队不缺乏钱粮，两州因此太平。马瞞嘉奖他的功绩，奏请朝廷任他为行军司马兼都兵马使。
吐蕃侵犯边境，进攻盐仓，唐军处于劣势，马瞞被敌人隔断不能回来，都将带着溃败的士兵先回城，秀实责备说：“兵法规定，失去统帅，部下要斩首，你们不死战能使家属安全吗？”于是集合城中全部士兵，派勇猛的将领统领，依托东边的高岗，布列奇兵，摆出与敌决战的样子，敌人望见，不敢逼近。不久，马瞞回到了军中。
过了好长时间，马瞞有病，请秀实代理节度副使，秀实巡查士兵，防备变乱。
马瞞死了，秀实命令谨慎老实的将领马由页掌管丧事，李汉惠掌管招待宾客，家属位于灵堂，宗族位于庭院，宾客、将领位于府内，校尉、文官、士兵位于军营内，不是马的亲人，不得留在灵柩旁边。早晚临祭，三天才结束。有聚集一伙谈话，离开指定位置的，都逮捕关押起来。都虞候史廷干，裨将崔珍、张景华想发动叛乱，秀实把廷干送到京城治罪，把崔珍、张景华流放到境外，整个部队就安定下来了。
很快，秀实被封为四镇、北庭行军，泾、原、郑、颍节度使。好几年，吐蕃不敢侵犯边塞。又依照法律，官员身兼二职可拿两份俸禄，秀实只拿取一份；不是因公聚会不奏乐，不饮酒；房内没有歌女和侍妾，家无余财；宾客和部下来了，只谈论军政事务，不谈家事。大历十三年(778)，回京城朝见皇帝，在蓬莱殿回答天子的提问。代宗问及安定边防的谋略，秀实在地上画出地形图，分门别类、井井有条地回答，代宗高兴，慰劳赏赐很丰厚，又赏赐第一等的住宅，实封一百户，让他回到任所。德宗皇帝即位，加封为检校礼部尚书。建中初年，宰相杨炎重提前宰相元载的建议，想在原州筑城。
下诏派朝廷使者询问，秀实说：“现在正是春耕，不能兴土木工程，请求在农闲动工。”杨炎认为秀实坏了自己的主意，于是召秀实回京任司农卿。
朱氵此反叛，认为秀实失去实权，必然怨恨朝廷，并且秀实一向威望高，派骑兵去迎接他。秀实与子侄诀别后到朱氵此处，朱氵此高兴地说：“您来，我的事业就成功了。”秀实说：“将士东征，酒宴和赏赐不丰盛，是有关部门的过失，皇上怎么知道？您本来因为忠义天下闻名，现在仓促间出现变乱，应当把祸福告诉部队，扫清叛乱，迎接皇上的车驾，这是您的职分啊！”朱氵此沉着脸不做声。秀实知道他不会回心转意，就假装与他合作，暗中联络将军刘海宾、姚令言的判官歧灵岳、都虞候何明礼，想杀死朱氵此。这三个人都是秀实的厚交。恰适源休教朱氵此假装迎接天子，派部将韩..带三千精锐的骑兵急速奔往奉天，秀实认为国家危急，刻不容缓，于是派人告诉歧灵岳盗取姚令言的印信，没有盗到，于是改用司农卿的印信追赶韩军。韩..兵到骆驿，得到兵符就领兵回来了。秀实对海宾说“：韩..回来后，我们没有一个能活命。
我应当直接击杀反贼朱氵此，不然就死。”
于是约定如果情况危急，海宾接上去杀，又令明礼在外面接应。第二天，朱氵此召集秀实商议事务，源休、姚令言、李忠臣、李子平都在座，秀实穿上甲衣与源休并排坐着，说到拥立朱氵此为帝，秀实愤怒地站起来，抓住源休的手腕，夺取象笏，奋勇上前，一口唾沫，吐到朱氵此脸上，大骂道“：狂妄的强盗，你可把我剁为万段，我怎会跟着你反叛！”于是拿象笏打朱氵此，朱氵此举手臂抵挡，打中朱氵此额头，血流满面，朱氵此爬着逃了。众反贼不敢动手杀秀实，但海宾等没有哪个来接应。
秀实大声呼喊道：“我不同你们一起反叛，为什么不杀我！”于是遇害，时年六十五岁。海宾、明礼、灵岳等都相继被反贼杀害。皇帝在奉天，听到这个消息，恨自己没有重用秀实，流着泪后悔惆怅不已。
当初，秀实自泾州被召回京城，告诫家里人说“：如果经过岐山，朱氵此必定赠送财物，千万不要收。”家属到岐山，朱氵此非送三百匹大绫不可，家里人坚决不收，但办不到；到京城，秀实生气说：“我终归不让这些东西脏了我的家。”把它挂在司农府大堂的屋梁间，司农府的属官后来报告了朱氵此，取下来一看，上面封记完好如新。
秀实曾认为皇帝的禁卫军又少又弱，不足以应付非常的事变，向皇帝说：“古时天子号称战车万乘，诸侯千乘，大夫百乘，因为大能控制小、用十人能制服一人。现在外有不听朝廷使命的叛贼，内有抗拒皇上命令的臣子，而皇上的禁卫军太少，突然间有祸患，拿什么去对付呢？况且猛虎之所以使百兽畏惧，是因为有锋利的爪牙呀，如果去掉爪牙，那么猪狗牛马都敢与它作对。”皇帝不采纳。
到泾州突然叛乱，调神策军六支部队，没有一兵一卒来援的，世人称赞秀实的谋略。
兴元元年(784)，皇帝下令追封秀实为太尉，追赠谥号“忠烈”。赏赐五百户的赋税，庄园、府第各一座。大儿子封三品官，其余儿子封五品官，都是正品官员。皇帝回到京城后，又下令祭祀他，表彰门庭，亲自题写碑文。
文宗太和年间，秀实的儿子伯伦才为他建庙，皇帝下诏赐给仪仗队，赐给国库的绫绢五百匹，用少牢的规格祭祀。
伯伦经多次升官，官至福建观察使，死在太仆卿任上。当时宰相李石请求文宗增加办丧事的财物衣衾，郑覃说：“自古以来的为国捐躯者，还没有谁比得上段秀实。”皇帝心里难受，因此提前退朝，并批准宰相的请求。
秀实的孙子嶷、文楚、珂都是知名人物。
段嶷自郑滑节度使任上入京都任右金吾卫大将军，封为西平郡公。文宗时的“甘露之变”，段嶷应当处死，裴度奏请皇帝说，忠臣的后代，应当免去死罪。降职出任循州司马。
段文楚在咸通末年任云州防御使，当时李国昌是振武节度使，国昌的儿子克用想得到云中郡，带兵攻打云州，在斗鸡台下杀死了文楚。沙陀人叛乱是从这时开始的。
段珂，僖宗时住在颍州。黄巢起义军围攻颍州，刺史想以全城投降，段珂招募青年抵抗，大家带着干粮请求跟随他作战，黄巢起义军就败退了。段珂被任命为颍州司马。