李遂，字邦良，丰城人。弱冠之年，跟从欧阳德学习。考中嘉靖五年(1526)进士，授官行人。升任刑部郎中。锦衣卫送强盗十三人，李遂只用一人抵罪，其他的都被他分辨释放。确立太子时，大赦天下。李遂请求将“大礼”大案诸臣都列在赦令中，尚书聂贤恐惧不敢，于是和同官一起向都御史王廷相求问，王廷相听凭他们这样做，事情虽然没有成功，但议者赞美他。
不久调他到礼部，忤逆尚书夏言。因事遭弹劾下诏狱，贬任湖州同知。三迁衢州知府，提升为苏、松兵备副使。逐渐升职为广东按察使，在位期间释放囚徒八百多人。进官山东右布政使。江洋多盗贼，于是迁右佥都御史提督操江。军政严明，盗不敢发。俺答侵犯京师，召李遂督苏州军饷。他没有向皇上谢恩，就请求关防验符用新的官衔。皇帝恼怒，削去他的官籍。
三十六年(1557)，倭寇侵扰江北。朝廷讨论说因督漕都御史兼理巡抚，没有时间对付敌寇，请求特别设置巡抚，于是命李遂用原官身份巡抚凤阳四府。当时淮、扬三次遭受倭寇侵掠，这一年又发大水，而且天天役使人民拉大木运送到京师。李遂请求增加粮饷增加兵士，抚恤黎民节省开支，这些措施都是为了战、守作打算。
三十八年(1559)四月，倭寇数百艘船侵犯海门。李遂对诸将说“：敌贼跑到如皋，其众一定会集合在一起。合则侵犯之路有三条：从泰州逼近天长、凤、泗，则陵寝将受到惊动；从黄桥逼近瓜、仪，以动摇南都，则运输要道将被梗塞；如果从富安沿海向东都庙湾，则是绝地。”于是命令副使刘景韶、游击丘陛扼守如皋，而自己亲驰泰州首当其冲。当时敌贼声势非常强盛，副将邓城抵御敌人被打败，指挥张谷战死。敌贼知道如皋有准备，准备侵犯泰州，李遂急檄令刘景韶、丘陛遏止敌贼。连战于丁堰、海安、通州，都打了胜仗。敌贼沿海向东掠去，李遂高兴地说“：敌贼没有能力打了。”下令刘景韶、丘陛尾随其后，而在庙湾招引敌贼。又顾虑到敌贼突向淮安，于是夜半奔驰入城。敌贼不久就到达，李遂督参将曹克新等人在姚家荡抵御他们。通政唐顺之、副总兵刘显前来支援，敌贼大败逃走，用余众保庙湾。刘景韶也在印庄打败敌贼，追赶到新河口，焚杀敌人甚众。庙湾敌贼占据险要不出，进攻了一个多月，还不能攻克。
李遂命令刘景韶堵塞堑要、砍树木压平垒阵，用火焚敌舟，敌贼乘夜雨潜逃。官军占据敌人的巢穴，追赶敌人到虾子港，江北的倭寇全部被平息。皇帝大喜，用玺书奖励官兵。
驻扎在崇明三沙的敌人，准备侵犯扬州。刘景韶与他们交战，连连取得胜利，将他们围困在刘庄。等待刘显来支援，李遂下檄令诸军都归刘显指挥。攻破敌人巢穴，将敌贼追赶到白驹场，敌贼全部被歼。这时李遂已迁南京兵部侍郎。评定功劳，赐予他一个儿子官职，赏赐银币。御史陈志核实奏上李遂平定倭寇的功劳，前后二十余次战斗，斩获三千八百多人。再次赠予一子世袭千户，增加俸禄二级。
他莅临南京刚刚数月，振武营发生军变。振武营是尚书张鏊招募健儿来抵御倭寇的，向来骄悍。旧制，南军有妻子的，月粮米一石；无妻子的，减少十分之四；春季和秋季的第二个月，米一石折银五钱。马坤掌管南京户部，上奏减折色之一，督储侍郎黄懋官又上奏革除新募补额之人的妻粮，诸军非常怨恨。替代马坤的人蔡克廉正在病中，诸军因这一年发生饥荒向黄懋官请求恢复折色到原来的定额。黄懋官不许可，发放粮饷又超过期限。三十九年(1560)二月检阅演习那天，振武营士兵在黄懋官公署鼓噪。黄懋官紧急招张鏊和守备太监何绶、魏国公徐鹏举、临淮侯李庭竹及李遂到来，这时诸营军已经武装进入里面来，给他们银子，他们争相抢夺银子。黄懋官见士兵其势汹汹，翻越墙壁投到吏舍，乱兵跟着追赶。徐鹏举、张鏊对乱兵进行慰问调解，他们不听。竟将黄懋官残杀，剥光衣服将死尸放在闹市。何绶、徐鹏举派遣官吏手持文书，许诺给赏万金，士兵立即将它撕碎。一直到许诺犒赏十万金，才渐渐平定。第二天，诸位大臣聚集在守备厅，乱卒也聚集在一起。李遂大声说“：黄侍郎自己越墙致死，诸位士兵特不应该残害侮辱他。我据实向朝廷奏说，不用反叛来诬蔑你们。”因而指挥众人退去，许诺恢复士兵的妻粮和原来的定额。给予每人银一两补折价，乱兵才散去。李遂于是托病闭阁，给免死券来安慰他们，而密令营将抓捕首恶二十五人，拘囚入狱。皇帝下诏令追革黄懋官和蔡克廉的官职，罢去何缓、李庭竹、张鏊的官职，任用徐鹏举如前，李遂因有功而被提升。只诛叛卒三人，其余的戍守边卫，而这三人已经先死了。李遂感叹地说“：士兵从此更加骄横了。”
不久，江东代替张鏊任尚书。江北池河营的士兵因为千户吴钦革除他们的帮丁，就殴打吴钦并将他缚在竿子上。帮丁是操练防守士兵的每人给一丁兵饷，以资往来费用。李遂已被召封为兵部左侍郎，因言官推荐而提升为南京参赞尚书，由他来镇压安抚。营卒被妖僧绣头所惑，又散布流言。李遂将绣头捕住杀掉，再三向队伍申严纪律，书写军士的姓名籍贯，年龄相貌，系牌腰间，军士才止息。既而又上奏调镇武军保护陵寝，一日解散千人，留都自此没有祸患。过了四年，因年老辞官引退。
李遂博学多智，长于用兵，但也善于逢迎。皇帝准备重新建造三殿，李遂奏说五河县泗水中涌现大杉一棵，这是川泽效灵，为助圣主鼎新革故，皇帝大喜。李遂又进献白兔，皇帝为此派遣官员告于宗庙。从此皇帝更加宠爱李遂。死后，赠太子太保，谥号襄敏。