长孙嵩是代郡人。父亲名仁，昭成帝时是南部大人。长孙嵩为人度量宽宏，他的名字也是昭成帝给取的。十四岁时，已经代替父亲掌管事务。昭成帝晚年时，几个部落内发生内乱，苻坚让刘库仁管理国家大事，长孙嵩和元他等人率领部众归附他。
刘显策划叛乱时，长孙嵩率领旧部和普通兵士们共七百多家叛离刘显出走。当快到五原时，遇到萛君的儿子于乌渥也聚众自立，长孙嵩便打算依附他。见于乌渥后，于乌渥自称是背叛父亲的儿子，并劝长孙嵩归顺道武帝。长孙嵩心中犹豫不决，于乌渥便替他掉转牛头的方向，长孙嵩便勉力听从他，并在二汉亭见到了道武帝。道武帝仍让他当南部大人，从此他屡立军功。后来他随从道武帝攻打中山时，被任命为冀州刺史，封爵为巨鹿公。并历官侍中、司徒、相州刺史，封南平公。在所到之处都受到称赞。明元帝即位后，同山阳侯奚斤、北新侯安同、白马侯崔宏等八人坐在止车门右侧，处理国家各种要事，所以当时人称为“八公”。
晋将刘裕北伐姚泓时，明元皇帝授给他符节，以都督山东诸军事，来到平原郡后，他沿着黄河北岸排列军队，驻守在畔城，和晋军交战后失利，明元帝传令让开道路给刘裕军通过。刘裕在船上望见长孙嵩的军旗和车盖，便送上酃地出产的美酒和江南的食品。长孙嵩都让人送到京城。明元帝传旨让长孙嵩以丰厚的礼物回赠。同时，命令他挑选精锐部队以备作战，如果刘裕的军队西去，便率领精兵南出彭城、沛郡；如果弄不清西行时间，就领兵在后面跟随。刘裕军队到达崤山、陕州一带，必定会跟姚泓军队对峙，结果必定是一方战败，另一方伤亡惨重，实力疲弊。等到秋天时，逐步乘危攻打他，那么刘裕的首级就可以不用作战而高悬起来。于是，等刘裕沿河前往洛阳并入关。长孙嵩与叔孙建等从城皋南渡黄河，晋朝所有驻守部队都望尘奔逃。刘裕攻占长安后，长孙嵩才领兵还朝。
明元帝得了重病后，向长孙嵩问及后事。长孙嵩说：“立年长的为帝理顺，以德行可以使人信服。如今大皇子贤能又是嫡出的，这正是上天的意思了，请立他为帝。”明元帝于是决定了，传旨太武帝临朝监理国事，长孙嵩为辅政大臣。
太武帝即位后，加封长孙嵩为北平王、司州中正。太武帝下诏询问公卿们说“：赫连、蠕蠕，先征讨哪个？”长孙嵩和平阳王长孙翰、司空奚斤等说：“赫连居于一地，不会成为大患。蠕蠕世代都祸害边境，应当先讨伐大檀。打败了就可以得到它的牲畜和资产，足以使国家富裕；打不败它也可以到阴山狩猎，多打一些禽兽，得到的兽皮、兽肉、筋角等物补充军队需要，也强于打败一个小国了。”太常卿崔浩却说“：大檀国人迁徙得像鸟飞一样迅速，以轻兵猛追却难以持久，用大部队去又赶不上它。赫连屈丐土地不过千里，它的刑罚残暴严酷，人都厌恶并想除掉它，应当先讨伐它。”尚书刘洁、武京侯安原却主张先讨平冯跋。太武帝默然不语，便领兵西行。后来又听说赫连屈丐已死，关中大乱，便商议加以讨伐。长孙嵩等人说：“他们如果坚守城池，便是以逸待劳。大檀人知道了，乘虚来进犯，国家就危险了。”太武帝便向天师寇谦之询问吉凶，寇谦之劝太武帝出征，杜超之也赞同，崔浩又说西征有利。长孙嵩等坚持进谏，太武帝大怒，他斥责长孙嵩为官贪污枉法，让武士们羞辱了一顿。不久，改任长孙嵩为太尉。过了许久，又加封柱国大将军。从此以后，皇帝御驾亲征时，因长孙嵩年纪大了，大多让他留守京城，坐镇朝堂办理各种案件。死时，享年八十，被谥为“宣王”。后来孝文帝追记前朝功臣，让长孙嵩在帝庙中配祀。
长孙嵩的儿子名颓，精于骑射，能拉动三百斤重的强弓。他承袭了父亲的爵位，并加封侍中、征南大将军。后因有罪而罢官成为戍卒。以后又恢复爵位，死后谥号为“安王”。
颓的儿子名敦，字孝友，任北镇都将。因贪污被降为公爵。文成帝时，他自诉先祖的大功，被恢复王爵，死时谥为“简王”。
敦的儿子道，字念僧，承袭爵位。很久以后，依照惯例被降为公爵，任左卫将军。死时谥号为“慎”。
道的儿子悦，袭公爵。建义年间，恢复北平王爵位，不久降为公爵，任光禄少卿。死时，追赠“司空”。
长孙嵩的第五代孙名俭，在北周任职，很有名气。