胡广，字光大，吉水人。父亲胡子祺，名寿昌，以字行。陈友谅攻陷吉安时，太祖派兵将其收复，将要杀死一千余名胁从人员。胡子祺跑去谒见统帅，极力说不可这么做，使他们都得免死。洪武三年(1370)，他以文学之才被选为御史，上书请求定都关中。皇上赞赏他的建议，派太子巡视陕西，后因太子去世，此计划没有实现。子祺出任广西按察佥事，后改任彭州知州。他所到之处平反冤狱，推毁淫祠，修复废堰，人民很感激他。后来他升任延平府知府，死于任上。胡广是他的次子，建文二年(1400)廷试时，当时正讨伐燕王，胡广在对策中有“亲藩跋扈，人心摇动”一语，皇上亲自提他为第一名，赐名靖，授予他为翰林修撰。
成祖即位，胡广偕同解缙去迎接并归附，被升为侍讲，又改为侍读，恢复胡广之名，升为右春坊右庶子。永乐五年(1407)，他进升为翰林学士，兼左春坊大学士。皇上北征时，他与杨荣、金幼孜从征。他多次被召到帐殿回答问题，有时达到深夜。经过山川险塞时，与皇上立马议论，有时他走得稍后，皇上常遣骑兵四出寻找。有一次他迷了路，他脱掉衣服骑着没加鞍的马渡过河流，皇上慰劳良苦。胡广擅长书法，每有刻碑，皇上都命他书写。十二年，皇上再度北征，皇长孙也从征，命胡广和杨荣、金幼孜在军中给皇长孙讲解经史。十四年，胡广进升文渊阁大学士，仍兼前职。皇上征召乌思藏僧人做法会，为高帝和高后荐福，说见到他们所显现的各种福佑和灵异。胡广于是献上《圣孝瑞应颂》。皇上给它谱上佛曲，令宫中歌唱和编舞。礼部郎中周讷请封禅，胡广说不可，皇上便没有批准。胡广献上《却封禅颂》，皇上更加亲爱他。
胡广性格缜密，他在皇上面前所说的话以及他所处理的事务，出宫后从不曾告诉他人。当时人们把他比作汉代的胡广。不过他颇能持大体。奔母丧回朝后，皇上问他百姓生活是否安定。胡广回答说“：安定。但郡县长官究治建文时期的奸党，株连到旁支亲属，成为百姓的祸害。”皇上采纳了他的意见。十六年(1418)五月胡广去世，终年四十九岁。赠予他礼部尚书，谥号文穆。文臣获得谥号自胡广而始。遗体运回时，经过南京，太子为他致祭。第二年授予他的儿子胡銼为翰林检讨。仁宗即位后，加赠胡广为少师。