黄淮，字宗豫，永嘉人。父黄性，方国珍占据温州时，他遁迹逃避方国珍的伪任命。
黄淮考中洪武末年进士，被授予中书舍人。成祖即位后，黄淮应诏对答时很合成祖之意，命他与解缙常站在御榻之左，备顾问。有时到了深夜，皇上就寝了，还给两人赐坐在榻前交谈。因此黄淮对机密重务都得参预知道。后来他与解缙等六人并在文渊阁当值，改任翰林编修，又进升侍读。议立太子时，黄淮请立嫡要立长。太子建立后，黄淮升为左庶子兼侍读。永乐五年(1407)，解缙被黜退，黄淮进升为右春坊大学士。第二年他与胡广、金幼孜、杨荣、杨士奇共同辅导太孙。七年，皇上北巡，命黄淮和蹇义、金忠、杨士奇辅佐皇太子监国。十一年皇上再次北巡，黄淮仍留守。第二年，皇上征瓦剌回来时，太子遣使者迎接稍迟，皇上又听信朱高煦的诬陷，将东宫属官全部投进诏狱，黄淮和杨溥、金问都被关了十年。
仁宗即位后，给黄淮复官。不久黄淮升为通政使，兼武英殿大学士，与杨荣、金幼孜、杨士奇同掌内制。后遭母丧，黄淮请回家守孝，皇上不许。第二年进升黄淮为少保、户部尚书，仍兼大学士。仁宗逝世时，太子在南京。汉王久蓄异志，中外疑惧，黄淮因忧患危局而吐血。宣德元年(1426)，皇上亲征乐安，命黄淮留守。第二年黄淮因病请求退休，皇上批准了。父亲黄性年已九十，黄淮奉养甚欢。黄性去世后，皇上赐葬祭，黄淮入宫谢恩。正值灯节，皇上赐许他游西苑，诏令他乘肩舆登万岁山。还命他主持会试。到他辞归时，皇上在太液池为他饯行，还作长歌送给他，并且说“：朕生日时，卿再来。”第二年黄淮入京庆贺。英宗即位时，黄淮再次入朝。他于正统十四年(1449)六月去世，终年八十三岁，谥号文简。
黄淮性格明辨果断，长于把握事情的根本。永乐年间，长沙妖人李法良造反。当时仁宗正在监国，命丰城侯李彬讨伐李法良。汉王妒忌太子有功，诡称李彬不能委用。黄淮说：“李彬是老将，必能消灭贼人，愿殿下从速派他去。”李彬后来擒获了李法良。当时常有人告发结党谋逆，黄淮对皇上说：“洪武末年对此已有敕令禁止，不宜再处理。”吏部追论“靖难”兵起之时，在北方当官不马上归附的南方人，应当编列遣去戍边。黄淮说“：如果这么做，恐怕被人看作心胸狭窄。”皇上都听从了。阿鲁台来归附，请得以统治吐蕃各部，他求朝廷作誓词刻在金片上，然后将金片磨入酒中，与各部酋长饮酒盟誓。众人的意见想答应他。黄淮说：“他们势分则容易控制，统一则难以图取。”皇上对左右的人说“：黄淮论事，就如站在高山之山，无远不见。”西域僧人大宝法王来朝见，皇上将要刻玉印赐给他，先将璞拿给黄淮看。黄淮说“：朝廷赐给各番部的制敕，都用‘敕命’和‘广运’二宝。现这块玉比它们还大，这样做不能示远人、尊朝廷。”皇上赞赏地采纳了他的意见。黄淮的贡献大多如此。但他气量颇小，同僚有小错，常汇报皇上。有人认为解缙之被贬，黄淮从中起了作用。他后来被宣宗疏远，也有人认为是杨荣说他有病，会传染给他人。