巴别尔像一颗耀眼的彗星，在苏联文坛上闪耀了一下便黯然消逝。从一九三六年至一九五七年苏联未曾出版过他的任何作品。他的书重新出版的时候，中国已度过翻译苏联文学的“蜜月”，何况他那样的“回归作家”，更无人翻译。无怪中国读者不熟悉这位堪称苏联文坛大师的作家了。
巴别尔一九二四年开始在《红色处女地》、《列夫》等杂志上发表描写第一骑兵军的短篇小说，共写了三十四篇，一九二六年结集出版，定名《骑兵军》。出版后各流派的评论家交口称誉，一致认为《骑兵军》是文坛的重大收获，真实地写出骑兵军战士的神态。但《骑兵军》却惹恼了第一骑兵军的将领。原军长布琼尼一九二四年在《十月》杂志第三期上发表了一篇猛烈抨击《骑兵军》的文章，指责巴别尔写的不是第一骑兵军，而是马赫诺匪帮。作者在向人民撒谎，仿佛革命是由一小撮土匪和篡权者搞出来的，因为他本人就是营垒那一边的人，所以没跟随库普林一伙逃往国外，就是为了留下来诽谤骑兵军。布琼尼的指责立即受到以《红色处女地》主编沃隆斯基为首的一批有声望的评论家的反驳，他们指出布琼尼的批评毫无说服力，不过仗势欺人罢了。沃隆斯基指出：“仅根据作家未能创作出真正的共产党人这一点就认为他近似反革命，是忽略了他创作的基本内容。”这场争论虽然极为激烈，但未得出孰是孰非的结论。一九二八年高尔基从索伦托回国观光，九月三十日在《真理报》和《消息报》上同时发表了《我是怎么学习写作的》的一文。高尔基在文章中谈到巴别尔的《骑兵军》：“布琼尼同志曾痛骂巴别尔的《骑兵军》，我觉得这是没有道理的，因为布琼尼本人不仅喜欢美化自己的战士的外表，而且还喜欢美化马匹。巴别尔美化了布琼尼的战士的内心，而且在我看来，要比果戈理对查波罗什人的美化更出色、更真实。人在很多方面还是野兽，而同时人——在文化上——还是少年，因此美化、赞美人是非常有益的……”布琼尼不服，在同年十二月二十六日的《真理报》上发表《致马·高尔基的公开信》。这位骑兵老总承认在文学问题上无法同高尔基争论，但骂《骑兵军》却并非“没有道理”。接着又对巴别尔破口大骂。高尔基于十二月二十七日在《真理报》上发表《答谢·布琼尼》，开门见山地写道：“我不同意您对巴别尔的《骑兵军》的看法，并对您就这位作家的评断表示坚决抗议。”高尔基接着反驳道：“我在巴别尔书中并未发现‘讽刺与诽谤的东西’，相反，他的书激起我对骑兵军战士的热爱和尊敬……在俄罗斯文学史中我还未见到过对个别战士如此鲜明和生动的描写，这样的描写能使我清晰地想象出整个集体——骑兵军全体将士的神态……”二十年代尚未产生一言九鼎的权威人士，所以围绕《骑兵军》的第二次交锋，仍无人能下结论。只是当事人巴别尔在双方炮火交织中身心交瘁，万念俱灰，无力握笔。此后发表的作品更少。除《骑兵军》外只有一九三一年出版的《敖德萨故事》和短剧《晚霞》。所有作品汇集起来仅是薄薄的一个集子。但在苏联和国外，巴别尔被称为“二十世纪最有才华的俄国小说家，也是苏联第一流散文家”。一九八六年意大利《欧罗巴人》杂志评选一百名世界最佳小说家，巴别尔竟名列榜首。以一册薄薄的集子被公认为文学大师的作家，在苏联文学史里恐难找出第二个人。
巴别尔时乖命蹇，半生坎坷，但直到一九三九年祸从天降之前，并未受到政治迫害。这一年五月他突然被捕，并被控告三项吓人的罪名：托洛茨基分子、外国间谍和恐怖分子。白面书生如何一夜间成了十恶不赦的“人民敌人”呢？只怪他性情率真，说话不遮掩，交友不慎。法国历史学家苏瓦林在《同巴别尔的最后谈话》一文中披露，巴别尔在言谈中曾两次冒犯斯大林。一九二七年十一月布琼尼妻子突然自杀，但传说并非自杀，而是被丈夫杀死，因为她对逮捕托洛茨基极为愤慨。一九三二年十一月九日斯大林妻子阿利路耶娃自杀。有人把两桩自杀联系起来，怀疑出于“同一模式”。巴别尔认为这种传言并非不可信，对苏瓦林说：“布琼尼杀死妻子，又娶了位资产阶级小姐……斯大林知道他历史肮脏才用他。斯大林不喜欢历史上没有污点的人。”至于布琼尼的“污点”同斯大林历史上的“污点”有无相似之处，巴别尔说：“我们这里什么事都可能发生。”这些话很可能传入了克里姆林宫。另外，巴别尔在作协第一次代表大会上的发言中曾说：“杜撰出来的庸俗官话只会对我们的敌人有利……我们倾诉爱情到了令人作呕的地步，如果长此以往，我们将像足球裁判那样对着话筒表白爱情了。”谁都明白巴别尔所说的“表白爱情”是指对斯大林表达热爱，斯大林当然也明白。
此后巴别尔便受到监视，他的一言一行都被密探记录下来，存放在克格勃的档案室里。如今这些告密材料变成了研究巴别尔的重要资料。一九三四年十一月的告密材料：“巴别尔说：‘人人适应逮捕，如同适应气候一样。党内人士和知识分子顺从地坐牢，顺从得令人发指。这是国家制度的特征。需要有几个顶天立地的人领导国家。可这种人又到哪儿去找呢，已经一个不剩了。’对托洛茨基反党联盟的审判，巴别尔说：‘荒谬绝伦的审判。故意挑选下流罪犯、保镖、奸细充当布哈林、李可夫等人的证人。……布哈林等人坚信他们所代表的思潮的灭亡促使他们死亡。托洛茨基告诫过我们：斯大林的胜利意味着革命的灭亡……苏维埃政权仅靠意识形态支撑。如果没有意识形态，十年前一切就都完蛋了。意识形态判决了加米涅夫和季诺维也夫’。”这些洞若观火的言论足以把巴别尔送进卢比扬卡监狱，但他却还无恙。一九三六年八月审讯季诺维也夫和加米涅夫时，一批红军将领随之消失。其中的亚基尔、奥霍特尼科夫和施密特，都是巴别尔的好友。一九三五年巴别尔还同妻子参观过他们举行的秋季军事演习。巴别尔受株连已无可避免，但他再次化险为夷。说起来似乎不可思议，原来全国头号刽子手、内务人民委员叶若夫救了他。叶若夫的妻子很早就认识巴别尔，她主持《苏联建设》时曾约请巴别尔撰稿，巴别尔在《骑兵军》受攻击后正愁无处发表作品，便同她恢复联系，经常到被人称为“虎穴”的叶若夫家中去，自然也认识了叶若夫。叶若夫对巴别尔并无好感，但碍于妻子情面两次救了他。斯大林为转移人民因大清洗而产生的对最高政权的痛恨，把叶若夫当成他的替罪羊，一九三九年四月十日下令逮捕叶若夫。巴别尔受叶若夫牵连随之被捕。
斯大林并未忘记巴别尔，亲自审阅他的案件，并吩咐手下人从他嘴里逼出治罪他人的口供。第一次审讯持续了三天三夜。巴别尔先不承认自己是间谍、托洛茨基分子和恐怖分子。但在严刑拷打之下后来都承认了，并作了如下招供：托洛茨基分子沃隆斯基在文化界组织了一个托派集团，参加这个集团的有爱伦堡、卡达耶夫、伊万诺夫、谢芙琳娜、利金、列昂诺夫、费定、阿·托尔斯泰等作家，还有爱森斯坦、亚历山德罗夫、米霍艾尔斯、乌乔索夫等导演和演员。沃隆斯基被流放到利佩茨克后，他同女作家谢芙琳娜还到他那里领取过指示。他是法国和奥地利的双料间谍。一九三三年在法国通过爱伦堡结识了法国作家马尔罗，后者招募了他。他向马尔罗提供有关苏联民航、俄国工农红军的装备和结构、国家经济和知识分子情绪等情报。爱伦堡嗅出他们是一丘之貉，便同他进行反苏交谈，两人一致认为必须组织起来才能采用恐怖手段反对现行制度。
如此荒谬不堪的招供，任何人都看得出来，但克格勃的审讯员要的就是这样的口供。
巴别尔所招供出的参加托派集团的作家和演员都是文化界的名流，他们之间不少人非但互不往来，而且并不认识，但有一点是共同的：都曾得罪过斯大林。斯大林便为每位文化名人准备好一份“罪证”，采用的手段是逼迫受审讯的人招供他人的罪行。如从巴别尔嘴里逼供出作家皮里尼亚克的“罪证”，再逼皮里尼亚克招供巴别尔的“罪证”，这样连环逼供，每个人便有几个人，甚至十几个人招供的“罪证”。不仅文化名人，连斯大林的亲密战友、政治局委员们，如莫洛托夫、日丹诺夫、卡冈诺维奇、安德烈耶夫等人背后也都有别人招供的“罪证”。这些“罪证”储存在斯大林的保险柜里。一旦想除掉谁，便抛出他的“罪证”。但斯大林并不轻易抛出“罪证”，有的几年之后才抛出，有的一直未抛出。巴别尔所招供的文化界同伙，除米霍艾尔斯外，一个也没被触动。而米霍艾尔斯是战后陷入所谓“犹太复国主义事件”才被除掉的。“无产阶级伯爵”阿·托尔斯泰不但未触动，后来还受到斯大林的宠幸。最让人不可理解的是斯大林一直没动爱伦堡，而几乎在所有被审讯过的文化人士的供词里都有他的名字，不少人还把他说成是他们的首领。五十年代末期在莫斯科工业学院举办的一次文学晚会上爱伦堡受到围攻：“斯大林为什么放过你？”爱伦堡回答：“不知道！”他确实不知道。按照通常的逻辑，他早该人头落地了，可斯大林一直没逮捕他。斯大林的逻辑是凡人无法理解的。
巴别尔自知生还无望，垂死挣扎，想了却两桩心事：抢救自己的手稿；否认对同行的诬告。他请求贝利亚准许他把抄走的文稿整理出来：“有描写乌克兰农业集体化和集体农庄的手稿、记述高尔基谈话和活动的材料、几十篇短篇小说的初稿、完成一半的剧本。这些手稿都是我八年劳动的成果，其中一部分准备今年发表。”他的请求贝利亚未予理睬，因为克格勃早已把他的手稿烧毁。卢比扬卡监狱不知把多少手稿，其中不乏传世佳作，化为青烟。哲学家弗洛连斯基得知手稿被没收后哀叹道：“我一生的劳动全完了，这比肉体上的死亡更可怕。”
一九三九年十一月五日巴别尔上书总检察长：“前作协会员、在押犯巴别尔致函苏联总检察长。从审讯员话中获悉我的案子已转交苏联检察院审核。我将发表涉及案件实质的声明，我的声明极为重要——请让我审辩。”但检察院未传讯他。
十一月二十一日他在一张纸片上再次上书检察院：“十一月五日我曾请求检察院传讯我。我的供词中多有不实之词，诬告了许多为苏联利益诚实工作的好人。一想到我的供词不仅无助于公正的审讯，反而给祖国带来直接的危害，便痛不欲生。我现在首先要做的是清除良心上的污点。”第二封信仍无回音。
一九四〇年一月二日巴别尔第三次致函检察院，字迹潦草，显然握笔已经困难了：“我曾两次请求检察院传讯我，因为我在供词中诬告了无辜的人……我被逼迫诬告爱伦堡等人有反苏意图……这些都是不折不扣的谎言。我知道他们都是诚实、忠诚的苏联公民。这些诬告都是我在审讯中由于自己怯懦而招供的。”巴别尔不敢提审讯员对他的严刑拷打，因为信只能通过他们转交上去。
巴别尔两桩心事均未能了却，二十天后被枪决。克格勃档案记载：“巴别尔一九四〇年一月二十七日在莫斯科被枪决。埋葬地点不详。”
苏联解冻以后，一九五四年一月巴别尔的遗孀佩罗什科娃上书苏联总检察长鲁坚科，要求为丈夫平反。六月负责甄别巴别尔案子的检察官多尔仁科传唤佩罗什科娃，对她说巴别尔的案子破绽百出，但平反尚须三位知情人的证词。
高尔基第一个妻子彼什科娃和爱伦堡六月十六日分别写了证词。彼什科娃写道，她同巴别尔一九二八年至一九三一年在意大利相识。一九三四年至一九三五年，高尔基在哥尔克村疗养，几乎天天同他见面。高尔基对他评价极高，认为他天才非凡，是写微型小说的高手，总是饶有兴趣地听他朗读小说。巴别尔是忠诚的爱国主义者。巴别尔的被捕令她震惊。
爱伦堡写道，自一九二六年他同巴别尔相识后一直是要好的朋友。巴别尔是非党的共产党员，一贯谴责托洛茨基分子。高尔基曾对他说巴别尔是最完美、最诚实的作家和人。至于法国作家马尔罗，确实是他介绍给巴别尔的，但马尔罗同法国情报机关毫无关系，当时很靠近法国共产党，后来才成为戴高乐的追随者。
六月二十四日卡达耶夫也写了证词：他同巴别尔是一九一九年至一九二〇年在奥德萨省委宣传鼓动部一起工作时认识的。那时巴别尔刚从骑兵军回来，正在写《骑兵军》里的故事。一九二二年他们一起到了莫斯科，仍经常见面。巴别尔在马雅可夫斯基主编的杂志《列夫》上发表过短篇小说《盐》，深受马雅可夫斯基的赏识，称他为当代最出色的散文家之一。巴别尔无疑是苏维埃政权的拥护者，对列宁的天才极为钦佩，认为十月革命掀开了世界历史的新篇章。
苏联最高法院军事庭于一九五四年十二月十八日作出为巴别尔平反的决定：撤销原苏联最高法院军事庭一九四〇年一月二十六日对巴别尔的判决。然而佩罗什科娃收到的平反书上写的却是：“巴别尔于一九四一年三月十七日死于服刑期间。”巴别尔分明是一九四〇年一月二十六日被枪决的，为什么把死亡日期改为一九四一年三月十七日呢？原来平反证书上未填死亡日期，留下空白，等交给佩罗什科娃之前再对照判决书填上，但不知哪位检察官一时偷懒，未查阅判决书便信手填上一个日期，于是在今天的各种工具书和课本里巴别尔的死亡日期便成为一九四一年三月十七日了。哀哉，遗属点燃蜡烛悼念亡灵的那一天，并非亲人真正死亡的日子。
巴别尔自然不会有坟墓，所以我从未向人打听过。
巴别尔狱中绝笔
一九一六年，我写完我的第一篇故事拿给高尔基看……然后我参加了内战。一九二一年我继续写作。近来我一直忙于到一九三八年底已完成第一稿的一部作品的写作。我完全无罪，我从未做过间谍，我也没进行过任何反对苏维埃的活动。审问时，我的证词是自我诽谤。我只有一个请求，那就是允许我完成我最后的作品……