来俊臣，京兆万年人。其父来操，是个赌徒，与同乡蔡本结友。蔡本赌输了几十万，拿不出钱来，来操就以蔡本的妻子抵债。其妻入来操家门时已怀身孕，以后生子即为俊臣，也就改姓为来。
来俊臣天性凶险残忍，喜好反覆无常，不事生产。客居和州时犯奸盗被捕入狱。在狱中胡乱告密。刺史东平王李续调查后知他是诬告，打了他一百大板。
天授年中，东平王李续因罪被杀，来俊臣又上书告密，得武后召见，奏言前次上告琅笽王李冲谋反的事，被李续扣压。武后认为他忠诚，升官直至侍御史，他去审讯案件，多次使武后满意。武后放纵其惨毒，用以胁制群臣。前后牵连夷灭了一千多族。生平只要有纤微小过，均入狱论死。后来，来俊臣任左台御史中丞，朝内外从此屏息，没有人相互谈话，只以眼睛示意。
来俊臣引荐了侯思止、王弘义、郭弘霸、李仁敬、康日韦、卫遂忠等人，暗中招集无赖之徒上百人，让他们造谣诬蔑公卿，然后秘密告发。每要诬陷一件事，就让好多地方同时告发，调查校核起来，自然不差。当时称这种做法为“罗织”。牒左署说：“案子交给来俊臣或侯思志审查，定能查得结果。”武后相信，诏令在丽景门另设推事院，嘱来俊臣等专门审案。
审讯一百件案件，没一件不招供的。王弘义曾戏称丽景门为“例竟门”，意思是入此门的人照例要命尽。来俊臣曾与其党徒朱南山、万国俊撰写《罗织经》一篇，如何布置事状，如何步步审讯，如何令其招供，条贯支节，纲由始末均列得清清楚楚，只要按照办理，没有不成功的。来俊臣审讯囚犯，不问罪行轻重，都往犯人鼻子里灌醋，还掘地为牢，或让人泡在屎尿里，或不给饭吃，囚犯有饿到吞咽衣服里的棉花，一般不死出不了牢门。每次大赦令下来，来俊臣一定先把重犯杀了然后宣布诏令。他还制作大枷，共有十等，各有名称：一号叫定百脉，二号叫喘不得，三号叫突地吼，四号叫著即臣，五号叫失魂胆，六号叫实同反，七号叫反是实，八号叫死猪愁，九号叫求即死，十号叫求破家。后来还有用铁笼头连在枷上，被枷住的人被拉着在地上转圈，一会儿工夫就被闷死了。审讯时，犯人提来，一定先把枷棒等刑具放在前面给犯人看。没一个不魂飞胆裂，都能屈认罪状。
如意初年，来俊臣诬告大臣狄仁杰、任令晖、李游道、袁智弘、崔神基、卢献等人，将他们下狱。来俊臣专以诛杀夷灭大臣为功，奏请武后降敕立制：凡一问即承认的，在同案犯中能得减死。狄仁杰等人已判了死刑，只是等待行刑日了，看押略有放松，狄仁杰向守者求得笔砚，撕下一片衣服，写了冤状放在棉衣里，送出狱去。狄仁杰的儿子拿了这冤状去呼冤，得武后召见。武后看了十分惊讶，责问来俊臣。来俊臣回答说“：这个囚犯连他的袍带都没有剥掉，他怎会肯服罪？”
武后派通事舍人周纟林去狱中查看。来俊臣即刻命狱卒替狄仁杰穿好袍带，站立在西厢。周纟林害怕来俊臣，不敢向西边看，只是看了看东厢，惟惟而去，不敢上报。起先，宰相乐思晦遭来俊臣夷灭全家，他的一个儿子才九岁，没收入司农当役。说有急变之事上告，得到武后召见。
那孩子说“：来俊臣凶残，欺罔皇上，横行不道。假如陛下任设一个谋反罪状交给他，不论哪一个大小官员，由他审讯，都会承认自己谋反之罪正如陛下所说的那样。臣的父亲已遭诛杀，臣家也已破灭，臣不在于求生，只是可惜陛下的英明、国家的大法都被来俊臣侮弄了。”武后有所醒悟，狄仁杰等六人得以免死。来俊臣又审讯大将军张虔勖、内侍范云仙。张虔勖不堪受屈，到大理徐有功处上诉，来俊臣派卫士乱刀砍死。范云仙自称曾伺奉先帝，来俊臣命人割掉他的舌头，两人均即毕命，以后人人破胆，没人敢说话。
后来，来俊臣多次收人贿赂，被御史纪履忠揭发检举，下狱判死罪。武后因他以前能侦察各种急变，赦他不死，贬为庶民。长寿年间，又将他召回，任他殿中丞，又因纳贼贬为同州参军事。但他暴虐恣肆不改。逼迫夺取同列参军的妻子，又侮辱其母。不久，又召来俊臣为合宫尉，提拔为洛阳令，又晋升为司仆少卿，赐给司农奴婢十人。来俊臣又因官户中没有美婢，听说西突厥酋长阿史那斛瑟罗有个婢女善歌舞。来俊臣就令其党人告发斛瑟罗将要造反，目的在于夺取那婢女。各蕃的酋长几十人到朝廷自割耳朵划破脸面申诉斛瑟罗之冤，仅得免死。那时，綦连耀、刘思礼等人阴结朝士，图谋不轨。明堂尉吉顼将此事告诉来俊臣，辗转牵连，杀了几十族。事后，来俊臣想独揽检举之功，又罗织吉顼的罪状。吉顼十分恐慌，求见武后，自陈心迹，才得免祸。来俊臣诬陷司刑史樊戬，以谋反罪判死刑，樊戬之子到朝廷申诉，有司没有人敢接治这个案子。以致其子当廷剖腹明志。秋官侍郎刘如王睿同情而流泪，来俊臣就上奏说刘如王睿是樊戬的同党。刘如王睿申诉是因年老有眼疾，所以泪流无法控制。审讯结果论处绞刑。
武后赦他不死，流放汉州。万岁通天年间，上巳节(三月节)，来俊臣与其党羽集聚在龙门，将缙绅的名字一个个贴在石头上，再拿小石头去掷，掷中哪一个就先告哪一个，想掷宰相李昭德却不能掷中。
有人把这事告诉李昭德，李昭德打算将来俊臣的恶行绳之以法，但还未行动。
河东节度使卫遂忠虽然品行不好，但颇有辩才，一向与来俊臣相好。当初太原节度使王庆诜有个很漂亮的女儿，已许配给段简。来俊臣知道该女很美，就假作诏书强娶为己妻。那天，来俊臣正与妻家的亲属宴饮。正喝在兴头上，卫遂忠来了，守门人不肯进去通报，骗他说“出去了”。卫遂忠知道是骗自己，直闯入内堂，破口大骂，言语含辱。来俊臣耻于妻子及姻家受辱，命人殴打卫遂忠，并将他反捆起来，事后又放了他。从此两人之间有了仇怨，来俊臣的妻子也因羞惭而自杀。段简有个妾很美，来俊臣派人去暗示，段简很害怕，就把那妾送给了来俊臣。
来俊臣知道群臣不敢对自己怎么样，于是心里产生了狂妄的念头，常常以石勒自比。他准备诬告太子及庐陵王、南北衙通同谋反，好让他独揽朝政。卫遂忠告发了他的阴谋。以前，来俊臣多次告发武家人、太平公主及张昌宗等人的过错，武后都压下不提。这一次可激怒了武家众人，共同揭发来俊臣的罪恶。
最后诏令在西市斩首。死时年四十七岁。人人都抚额相庆，说：“今天才能把背贴着床安心睡觉了。”大家争着去剜他的眼、摘他的肝、剁他的肉以泄愤，一会儿工夫只剩下一副骨头，又用马践踏其骨，尸骸丝毫都没有留存。其家属也均没收入官。
在来俊臣嚣张专权时，托天官得选为官的有二百多人。来俊臣被诛，有司来自首违纪选官事，武后斥责他。他回答说“：臣破坏了陛下的法制，我一个人被杀；但冒犯了来俊臣，我的全族都将遭覆灭。”武后赦免了他。