李斯是楚地上蔡人。年少时，曾经任郡小吏。他看到吏员宿舍的厕所里的老鼠吃的都是不干净的东西，又因为经常被人和狗所惊吓，惶惶不可终日，但是仓房里的老鼠，却平素不受惊扰，坐拥满仓谷物，没有饥饿之忧。于是感叹道：人的地位，就好比老鼠一样啊，最重要的，是选择好所处的位置。
李斯曾经从荀子学帝王之术，后来辗转来到秦国，开始从政。
韩国水工郑国，为了削弱秦国的国力，动员秦国组织大规模的水利工程，并主持设计和施工。这就是后来的“郑国渠”。事情发觉后，秦国宗室大臣劝说秦王，认为诸侯国人来秦国做事的，都是有心效忠其主而力求败坏秦国的，“请一切逐客”。李斯也在被逐之列。
他著文力陈开放政治对于秦国的益处，希望秦王坚持任用别国来客。这就是著名的《谏逐客书》。
秦王于是废止逐客之令，破格任用李斯。李斯后被任为廷尉。统一之后，又升任丞相。李斯以敏锐的政治眼光，说服秦始皇实行郡县制。明法度，定律令，李斯也出力甚多。
秦始皇去世后，李斯在沙丘参与赵高、胡亥等策划的政变。
秦二世上台之后，推行极端专制的政治，甚至李斯等人也不能轻易向秦二世直接提出政策建议。
关东反秦起义军兴起，严重威胁秦王朝的统治之后，秦二世屡次责备李斯居三公之位而未能安定天下。
李斯曲意逢迎秦二世，建议进一步强化君权，严酷刑罚，以谋求建立所谓君主独制于天下而其他力量无所制约的绝对集权的政治体制。一时路人中受刑致残者往往多达半数，死刑犯的尸体每天都堆积于街市，执法残厉、杀人众多的官员被看作忠臣。
秦二世听从赵高的建议，深居于宫中，政事都由赵高来决策。赵高诬称“丞相居外，权重于陛下”，又提出对李斯之子，当时担任关东要害地区三川郡（郡治在今河南洛阳东）行政长官的李由可能与关东反秦起义军暗自联络的怀疑。
李斯与右丞相冯去疾、将军冯劫进谏秦二世，请求减轻民间赋役，停止阿房宫工程。秦二世命令将李斯等下狱治罪。冯去疾、冯劫被迫自杀，李斯被腰斩于咸阳市。
李斯在走向刑场时，对同行的儿子说：我想和你一块儿，再牵着黄狗出上蔡东门行猎，追逐狡兔，岂可得乎？说罢父子抱头痛哭。
李斯被处死，其三族也被夷灭。
有人说，李斯是极端忠正而冤死的刚直之臣。司马迁则说，李斯身为三公，明知正确的政治原则，却不能规劝主上纠正偏差，在政治强权面前阿顺苟合，推行苛政酷刑，又听从赵高的劝说，发动政变，拥立秦二世。在天下反叛力量群起之时，方才劝说秦二世修正暴虐之法，不是已经太晚了吗！
李斯的悲剧，在于贪求个人权位，依附黑暗政治，甚至不惜助纣为虐，最终自己也葬身于权争的漩涡之中。