高力士，是冯盎的曾孙。圣历初年，岭南讨击使李千里送入宫两个阉童，一个名金刚，一个叫力士。武后因为力士强壮聪明，让他任给事，侍候左右。一次为小事惹怒则天皇帝，被逐出宫，武三思家的中人高延福收为养子，所以承用养父之姓。受到武三思的赏识，过了一年多，又进入内宫，任职司宫台做君主的传达。成年以后，高六尺五寸，为人谨慎、仔细，善于传达诏令，任宫闱丞。
玄宗还是藩王时，高力士就倾心讨好巴结。诛平韦氏以后，调高力士到内坊，提拔为内给事。先天年间，因诛杀萧至忠、岑羲等人有功，升任右监门卫将军，主管内侍省的事。于是四方有所奏请均先呈高力士，然后进呈皇帝，若是小事，高力士就决断处理了。即使休假日，他也不出宫，晚上就在寝殿帷幕后睡觉。
那些想巴结他的人想见他一面，都难上加难。玄宗皇帝曾经说：“力士值班时，我睡觉才得安心。”那时，宇文融、李林甫、盖嘉运、韦坚、杨慎矜、王珙、杨国忠、安禄山、安思顺、高仙芝等人虽然各因他们的才能或特殊邀宠得以提拔，但他们都十分讨好高力士，所以才能步步高升，直至将相。至于其他奉承依附高力士，希望得官的不计其数，高力士一般都能帮助他们。中人如黎敬仁、林昭隐、尹凤翔、韩庄、牛仙童、刘奉廷、王承恩、张道斌、李大宜、朱光辉、郭全、边令诚等人，一并任内供奉或外监节度军，有的做法事、买鸟兽，都得机会出使，每出使回来，所得财物，动辄以万计，京师的房宅池园、良田美产，他们占了六成，其所得宠信几乎与高力士相等，但他们所以能如此富且贵，都是高力士在皇帝面前给予帮助才能达到的。肃宗在东宫时，把高力士作为兄长看待，其他各王及公主称他为“阿翁”，驸马等亲戚辈则叫他为“爷”，皇帝有时也不叫他名字而叫他“将军”。
高力士幼年时就与母亲麦氏失散。
后来岭南节度使在泷州找到麦氏，将她迎送到长安。彼此都不能认识了，麦氏说“：我儿胸前有七颗黑痣，还在吗？”高力士袒开胸衣，果然有七颗痣。母亲拿出一个金环，说：“这是你小时戴的。”母子相抱大哭。皇帝封麦氏为越国夫人，又追赠高力士的父亲为广州大都督。养父高延福及其妻当高力士显贵时还在世，对他们的侍养与对麦氏的相同。金吾大将军程伯献与高力士结拜为兄弟，后来麦氏去世，程伯献穿重孝服守灵接受祭吊。河间男子吕玄晤在京师为吏，他的女儿极有姿色，高力士娶为妻子，吕玄晤就提拔为刀笔史直至少卿，其子弟也都任王傅。吕玄晤的妻子去世，宫内外争致奠仪，从他家直到墓地，车马连绵不断。
当初，李林甫、牛仙客知道玄宗皇帝怕到东都去，但京师漕运供给不及，于是借赋粟解急，又用和籴法，拿钱向百姓买粮。几年以后，国用渐渐充裕起来。皇帝曾在大同殿斋戒，高力士侍候在侧，皇帝说“：我不出长安近十年了，天下均太平无事。以后我专心于吐纳导引，把天下事全交给李林甫，你看怎么样？”高力士回答说：“天子顺天而动，这是古制。
税入有常规，百姓就不会诉苦。如今用赋粟以充漕运，臣怕这样下去国家会没有十个月的积储；买粮不止，库藏也会用完，而逐利买卖的人也会越来越多。再说天下大权不可借给他人。臣下的威权大了，谁还敢议政呢？”皇帝听了不高兴，高力士叩头谢罪说：“小人糊涂无知，胡说八道罪该死。”皇帝为他摆酒，左右呼万岁。但高力士由此回到内宫，不再助理朝事。以后逐步加官至骠骑大将军，封渤海郡公。高力士曾在来廷坊建佛祠，在兴宁坊立道士祠，房舍极为奢华讲究，是国家财政都无力建造的。祠内有大钟，落成之日，高力士宴请公卿斋庆，凡要撞钟求福的，撞一下缴礼钱十万。
有专意讨好的，故意撞二十下，撞得少的也不少于十下。高力士还在京都西北的澧水筑堰，利用水力置了五个大碾，每日可获碾麦三百斛的收费。
有个叫袁思艺的人，也得到皇帝的宠幸，但恃宠而甚为倨傲，士大夫们都敬而远之。高力士则含蓄不露，谨慎有分寸，所以得到众人的称赞。皇帝开始时设置内侍省监二人，官位三品，由高力士、袁思艺二人担任。玄宗皇帝避难至蜀，袁思艺向占领京都的安禄山称臣，而高力士则随从皇帝，事后，进封高力士为齐国公。玄宗皇帝听说肃宗已即位称帝，高兴地说：“我儿应天顺人，改元为至德，表明他不忘孝义，我还有什么可担忧的？”高力士说：“两个京都都陷贼手，百姓流离失所，河南汉北都变成了战区，天下为之痛心，而陛下却以为没什么可忧虑的，臣不敢同意这看法。”后来玄宗成了太上皇，回京时高力士随从，进封为开府仪同三司，赐实封五百户。
上元元年(760)太上皇被迫迁居西内，过了十天，李辅国诬告高力士潜谋叛逆，私引凶徒。于是乃将他除籍，流放巫州。那时，高力士正发疟疾，走到功臣阁下，李辅国用帝诏召他，高力士走到阁外，李辅国派内养授给他谪制。高力士接制后说：“臣早就该死了，只因天子哀怜，延生至今，愿再见陛下一面，那就死而无憾了。”李辅国不许。两年后，宝应元年(762)，遇赦回京，见到玄宗、肃宗二帝的遗诏，朝北大哭呕血，说“：大行皇帝升遐(死)，我不能摸一摸梓宫(棺材)，死有余恨。”哀痛而死，年七十九岁。代宗因他护卫先帝有功，归还他原任官职，追赠扬州大都督，陪葬泰陵。
当初，太子瑛被废，武惠妃正得宠幸，李林甫等人都属意立寿王为太子，玄宗皇帝因忠王年长，欲立忠王。主意未定，寝食不安。高力士说：“大家(陛下)不吃东西，是膳食不好吗？”皇帝说：“你是我家的老奴了，难道揣摩不到我的心意吗？”高力士说：“莫非是因储君未定？
立长子为太子，谁敢有争议？”皇帝说：“你的话对。”嗣君之位就此定下。天宝年间，边将争立功，皇帝曾说“：我年纪大了，朝廷琐事交给宰相，蕃夷有不恭则交与诸将，我岂不悠闲？”高力士回答：“臣刚才无意到..门，见奏事人报告说云南多次战败，又说北兵凶悍又强蛮，陛下用什么来制服他们？臣担心祸患已成无法消禁了。”他指的北兵，就是安禄山。皇帝说：“别说了，我慢慢想办法。”天宝十三年(754)秋大雨，皇帝看左右无人，对高力士说：“这雨是否已成灾了，你对我说实话。”高力士说“：自从陛下把朝中大权交给宰相以后，法令不被遵守，阴阳失度，天下事还能平安吗？我的缄口不言，是因为时势如此。”皇帝不作答。第二年安禄山叛乱。高力士平日善于揣摩时事形势，在适当的时候做出决断。到某人该当覆灭时，即使是最亲密的人，高力士也不肯出面援救。所以一生没有重大过错。评论者常因宇文融以来人们为权和利相互残害而抱憾，天下之祸就是如此一步步酿成的。高力士虽有补益，也不能相除。