诗曰：
君臣义合本万难，只为时艰要见机。
明哲保身当早念，免教祸到幡悔迟。
据此传奇论及张九龄告驾致仕归日。惟有鉴史上言：唐明皇于开元二十四年削夺张九龄相位，任用李林甫为相。当时未进李林甫为相时，明皇已有意相之，而九龄尚未退贬。明皇问：“相李林甫可乎？”九龄对曰：“宰相之任，有以关系国家之兴替也。陛下须当慎择其人之正者，若相李林甫，只恐日后为社稷之忧、为国家之患！”当日明皇亦暂准信九龄之忠言。后来，李林甫闻张九龄之语，一心怀恨，屡思计谋以除逐之。 但明皇自登基一连二十余载，岁月已久，渐生奢侈之心，肆欲以怠朝政。
然九龄平素耿直，遇事敢言，少有过矣！不论大小事，必力诤苦谏，明皇日久厌其入耳之繁；林甫一意奉承以迎帝心，故时常谗诉九龄短处，故帝亦疏慢之，至罢其相位，贬逐至荆州府为长史卑职，后终于任所。今此传载其告驾有大同小异之分，看官，不必涂求史实而议之。
当日，九龄上朝，拜呼三声已毕，陈奏曰：“老臣蒙仰圣上天恩之重，粉躯碎骨，罔能报效，曷敢言退？奈已风烛之期，近日疾病多增，虚担宰相重位，枉馔徒，只恐有误国家大政。今特恳乞天恩，容臣解组归乡，一两秋已将就墓，本另择贤能执政。老臣无任治恩，伏惟准奏。”
明皇曰：“丞相古稀之年虽及，但躯体康健，怎可一朝言去？朕之大政，委托何人？不必辞位以则朕左右也。” 九龄曰：“陛下，不须命留老臣，惟臣近日委果疾病益殆，料不久于人世，俱鸟之将死，其鸣也哀；人之将死，一言也善。老臣有一言上陈，仰乞至尊鉴听，臣曷胜仰赖！一、祖宗田政不可改；二、进任正贤以匡国政；三、节国用以实库。如受臣言，上下一心而致宁天下治矣。但臣入相二十年所近矣，不少尚有不周，乞陛下恩恕。但念臣随驾多年，不敢他和，今告归别主，原宥忘恩大罪，死后只以鬼魂而不忘国用。”且当时有李学士太白，是西川安庆府人，知九龄是个正直智良材，亦出奏请留之。九龄苦不允从，力辞解任。
帝见他坚持要去，只得曰：“丞相力要舍朕而去，亦难以勉强。朕念老功臣辅驾多年，勤劳朝政，今恩赐汝带俸归田，特加恩世禄黄金三千两、白金三十万两，每月俸禄米千石，继赐参茸，太医一名随着调养，赐题忠亮御牌坊，命一二品大员代朕饯别送行。”
九龄叩首谢恩曰：“老臣蒙天恩深眷，今生难答，来世犬马追随以报耳！再乞圣上念臣方才谏言，去谗远色，以江山为重。又思先皇在晋阳起义兵，诛灭武韦奸党、重整李氏江山，劳尽瘅力，得安社稷，臣死暝目矣。”是日，君臣言到此，各各含泪。帝先领驾回宫去，张丞相辞圣君出。
是时，右相李林甫、大学士李白、吏部天官葛大古、礼部尚书贺知章、
兵部尚书裴宽、户部尚书钟景期、刑部尚书王鉷、御史中丞杨慎矜、国舅杨国忠、杨銛，又有二品十余人，不能一一尽述其名。又有武员是中兴王马英，长平侯王仁勇，远兴侯曹威，护国公秦刚，鲁国公程福，越国公罗清，鄂国公尉迟景。当时，一班文武大臣百余人，齐奉圣旨，敬陈美酒，又有送行赐仪饯行。
丞相曰：“老夫以老疾无能，故不得已与列位同僚分手，今已叨领厚饯，敢劳诸位送程途？一揖相别可也。只愿诸公一心辅驾，君臣共守兴平。老朽回归就木，列位且请回，老夫复赶马登程。只留太白公、葛吏部、贺礼部是吾故交，与中兴王马英是门徒，多行数步以尽故交、师生之深情。”文武百官哪里肯听？又献上赆仪，祈老丞相见纳。九龄曰：“老夫又何恩德，敢当列公惠赐？且吾叨蒙圣恩，颁赐过隆，已为滥领了，是为赐命不敢辞耳！今诸位大人再赐许多厚礼，老夫断难明领矣！”
百官皆言：“老丞相在朝，一擎天柱。日久在廷教诲，今日荣旋贵府，薄具凉仪亵渎，聊申赆敬，伏祈鉴纳；方表众士恭敬微意之诚。”推辞多时，张丞相料想方辞不得，只得领情，复一一致意申谢。众官齐送出城数里，丞相数次辞回，百官只得住步，曰：“老丞相前途保重，慎越风霜。某等回城，恕不远送也。”一一拱别，分途各回府去。
单有太白、葛、贺、马英四人多送十里之程。九龄曰：“四位且住，吾有心腹直言说知，以表今日相爱之情。吾原非多疾，实忧与一班奸党作对，内又有贵妃、高力士，今吾年七十余，亦应息退归田。一来免祸，二则辞此繁政。即昨天责辱安禄山并前劝主杀之，两番不准；并劝不可立贵妃，有紊渎于人伦。圣上原是明敏，只好色之心难遏，至是不准从。贵妃岂不怀恨在心？今虽贬出禄山，免却宫内丑闻，然禄山出镇范阳，实虎归山也。此人必定有变，叛乱不久了。老夫今日已脱离虎口，汝等在朝，实要小心。必酿祸乱者，李林甫。杨国忠逼反安禄山，禄山离不得贵妃，今圣上前明后暗，不久乱作。须各人见机保身，明哲脱厄，方免安禄山罗网。须谨记。”
四人齐言曰：“叨蒙老丞相指教金石良言，自当铭诸肺腑。且丞相智虑深，明去就，存身远害，信为老诚达人。但我等在朝近帝，犹如身入虎狼巢穴中，不被噬者，出于万众之一耳。只忧不能逃遁以罹奸党之祸也。”当时，丞相几番催促四人回身，各得住步，殷勤相慰而别。话分两途。
再说九龄退位，李林甫升中书首相，令杨国忠升右相平章，二奸争进不提。单说张九龄一程回广东，道经二龙山，有家丁禀上：“相爷，此路虽乃官场大道，但久闻二龙山有盗寇打截行人，不若从小路远些去避之。”九龄冷笑曰：“清平世界，些小贼徒，使尔若此畏缩！但可恼守土文武官，枉食朝廷俸禄，日久偷安，不来查察境土，其盗寇打劫害民，皆有可参革之罪。
大小官员皆不以安民为重，一省中枉设数十官员，花费朝廷饷禄。今吾定要在他山前经过，教训强盗一番。若然散伙，有能者投食军粮，不愿为盗者自为良民，落业做小经纪，且将匣中所叨圣上恩赐并百官厚情送的金银，不下百万，一并散赏之，令其为良善人，岂不依从乎？又安境土，免陷良民，化恶为善，吾之心也。”
众家人、从兵领命，特往二龙山边经过。有喽罗见一标人马从大路回山而来，一大旗上书着“奉旨荣旋”，又数十大旗大书“张”字，威威武武，护送兵千多，皆盔明甲亮。喽罗兵不敢妄进打劫，只得上前动问：“过山来的是哪位官员？且说明，待报知寨主。”护军曰：“朝中左班首相、太师太傅、中书张老大人奉旨荣旋，特经此山，急报知寨主来恭迎。”喽罗闻言，领诺，飞奔上山报知。
有白云龙对高、梁两弟曰：“久闻朝廷张九龄老丞相是当今第一个贤正忠臣，唐天子赖以助复江山，今日想必因奸臣当道抑或因年纪高迈故，致仕归田。我们何不下山迎接送行之？方表我们不是专于贪婪为盗者，是个义气敬重贤良之人！” 高角未言。琼玉曰：“不特表心，我们报仇、收除狗官，亦在此人之身。且下山自己绑缚，将冤屈诉明老丞相，他是唐天子师相，位尊爵隆，岂不准信？他一道本章奏明，苏州一省狗官难逃冤屈妄杀良民之罪矣！”三人议定，出见张丞相如何，下回分解。