谪黄州之第三年（元丰五年），神宗有意复用，而言者沮之（元丰七年），神宗手札徙汝州，略曰：“苏轼黜居思咎，阅岁滋深，人材实难，不忍终弃。”未至，上书自言有饥寒之忧，有田在常（今江苏武进县），愿得居之，乃量移常州团练副使。过金陵，与王安石相见，时安石罢相，寄居金陵，语之曰：“大兵大狱，汉唐灭亡之兆，今西方用兵，连年不解，东南数起大狱，公独无一言责之乎？”
士大夫知上之卒喜文忠也，方共欣幸，无何，裕陵（神宗陵名）晏驾，虞渊之日既没，鼎湖之剑何依，因不果用。
哲宗即位，起司马光为相，罢新法，天下颙颙望治。诏复文忠朝奉郎，知登州，比至，召为礼部郎中，除中书舍人，盖朝廷缘神宗意欲用之。文忠以躐等骤进辞，宰相卒不许，迁翰林学士。盖自登州召还，十月之间三迁清要，寻兼侍读。每进，谈至治乱、兴衰、邪正、得失之际，未尝不反覆开导，觊有所启悟。
文忠尝锁宿禁中，召入对便殿，宣仁后问曰：“卿前年为何官？”曰：“臣为常州团练副使。”曰：“今为何官？”曰：“臣今待罪翰林学士。”曰：“何以居至此？”曰：“遭遇太皇太后、陛下。”曰：“非也。”曰：“岂大臣论荐乎？”曰：“亦非也。”公惊曰：“臣虽无状，不敢自他途以进。”曰：“此先帝意也。帝每诵卿文章，必叹曰‘奇才，奇才’，但未及进用卿耳。”文忠不觉哭失声，宣仁后与哲宗亦泣，左右皆感涕。已而命坐，赐茶，撤御前金莲烛送归院。
司马公薨。文忠颇以言语文章规切时政，往往以此遭忌。卫尉丞毕仲游忧其及祸，贻书戒之曰：“君官非谏官，职非御史，而好是非人，危身触讳，以游其间，殆犹抱石而救溺也。”文忠不能从。
群贤在朝，不能不以类相从，遂有洛党、蜀党、朔党之语。洛党以程颐为首，而朱光庭、贾易为辅；朔党以刘挚、梁焘、王岩叟、刘安世为首，而辅之者极众；文忠以蜀人为党魁，故号蜀党，而吕陶等为辅。是时安石余党退休散地，怨入骨髓，阴伺间隙，而诸贤不悟，各为党比以訾议。惟吕大防秦人，憨直无党也，范祖禹、司马光不立党。既而哲宗闻之，以问胡宗愈，宗愈对曰：“君子指小人为奸，则小人指君子为党，陛下能择中立之士而用之，则党祸息矣。”因著《君子无党论》以进。时程颐为崇政殿说书，文忠谓其不近人情，深嫉之。于是颐门内右司谏贾易、左正言朱光庭等劾公。
尝侍上读《祖宗宝训》，因及时事，历言“今赏罚不明，善恶无所劝沮；又黄河势方西流，而强之使东；夏人寇镇戎，杀掠几万人，帅臣掩蔽不以闻，朝廷亦不问。事每如此，恐寖成衰之渐。”当轴者恨之，使赵挺之、王觌攻之，文忠知不见容，乞外任。四年，以龙图阁学士再知杭州，出郊未发，遣内侍赐龙茶、银盒，用前执政恩例，所以慰劳甚厚。
【批评】
神宗每读东坡文叹为奇才，可谓不世出之知遇矣。方欲向用，乃即晏驾，文人不幸，往往如此。禁中召对，宣仁说知，益复感激知遇，竭忠辅佐。旁观者疑其多事，当局者出于不觉，信而见疑，忠而被谤，古今来岂独一东坡哉。
从来门户党援之习，率由君子小人互相攻讦，如薫莸、冰炭，气味自尔差池。未闻正人同处，亦彼此分标树帜者，若洛、蜀诸党之说，似未有当也。然后世之党，则竟明目张胆，各争权利而无所顾忌矣。此非但宋贤之所不为，亦唐时牛、李之所不屑者矣。
东坡出守杭州时，文潞公平章军国事，吕申公平章军国重事，吕汲公、范尧夫为左右仆射。潞公谆谆劝公，至杭不可作诗，恐言者笺释以上申。东坡出，潞公旋卒，尧夫亦去，以上四人无恨东坡者。惟中书侍郎刘挚与邢恕善，而东坡与恕同为起居舍人，恕子宽夫因从东坡游，与恕素无嫌隙。恕乃倾危之士，凡与相识者，无不构成巨祸，东坡亦为所中。其后助章惇必欲杀挚者，亦恕所为也。此等人，惟有不相识之为幸。
苏轼贬谪到黄州的第三年（元丰五年），神宗有意重新起用苏轼，被言官阻止（元丰七年）。神宗皇帝手书圣旨叫苏轼移居汝州，大意说：“苏轼贬斥在外反省过错，时间很长了，这种人才实在是难得，朕不忍心终身摒弃他。”苏轼未到汝州，上书自称有饥饿寒冷的忧患，有田产在常州（在今天江苏武进县），希望在那里居住。于是获得恩准迁移到常州做团练副使。路过金陵，他见到王安石，说：“大的军事行动和大的刑狱，是汉、唐灭亡的预兆。如今对西夏用兵，连年不止，东南又兴起几桩大狱，您不说一句话去责问有关部门吗？”
士大夫知道皇帝最终还是喜爱苏轼的，正在互相庆幸，没多久，神宗皇帝就驾崩了。神宗皇帝都死去了，还能倚仗皇帝什么呢，因而没能重用苏轼。
哲宗皇帝即位，启用司马光为宰相，停止新法，全国人民翘首企盼天下大治。皇帝下诏书恢复苏轼朝奉郎之职，改任登州知州，等到苏轼刚到登州，又御召苏轼回朝廷做礼部郎中，任命为中书舍人，大约朝廷因为神宗的遗志想重用苏轼。苏轼越级向皇上进言，宰相最终没有允许。苏轼又改任翰林学士。自从苏轼从登州召回以来，十个月之中三次升任高官要职，不久又兼任侍读。每次进宫讲授史籍，谈到国家治乱兴衰，法令邪正得失的时候，总是反复开导讲解，希望皇帝有所启发。
苏轼曾经在宫中锁门值宿，被召进便殿面见太皇太后和皇帝，宣仁太皇太后问道：“爱卿前年做什么官？”苏轼说：“臣做常州团练副使。”又问：“现在做什么官？”回答说：“臣现任翰林学士。”
又问：“凭什么能骤然升到这个官位？”回答说：“因为碰到了太皇太后、皇帝陛下。”太皇太后说：“不是。”苏轼说：“难道是大臣论奏保荐吗？”说：“也不是。”苏轼惊讶地说：“臣虽然没有品行，却不敢从其他途径谋求晋升。”太皇太后说：“这是先帝的意思。先帝每次诵读你的文章，一定叹赏说‘奇才，奇才’，只不过没来得及进用你罢了。”苏轼不觉痛哭失声，宣仁太皇太后和哲宗皇帝也哭了，左右的人都感动流泪。一会儿又命苏轼坐下并赐茶，撤去皇帝面前的金莲灯台照送苏轼回翰林院。
这一年司马光去世。苏轼喜欢用文章讽谏切中时政的弊病，常常因此遭到忌恨。卫尉丞毕仲游担心苏轼因此惹祸上身，便写信告诫他说：“您既不是谏官，职位又不是御史，却喜欢批评人。本身就危险，还触犯忌讳，去讽刺时政，大概好比抱着石头去救溺水的人啊。”苏轼没有听从他的劝告。
贤能的诸公在朝廷上，往往因为政见不同组成各种党派，于是便出现洛党、蜀党、朔党这类称呼。洛党以程颐作为首领，朱光庭、贾易作为辅助；朔党以刘挚、梁焘、王岩叟、刘安世作为首领，辅佐的人极其多；苏轼是蜀地人的领袖，所以号称蜀党，吕陶作为辅助。当时王安石党派的人都下野遣派到各种闲职，对这些贤人的怨恨深入骨髓，暗地里窥伺，寻找可乘之机报复，而众位贤人大夫都没觉察，各自树立党派互相批评议论。只有吕大防是秦地人，憨厚正直，没有加入各党派。范祖禹、司马光也不结成党派。不久哲宗皇帝听闻有这种事，就问胡宗愈，胡宗愈回答说：“君子指责小人奸诈，小人就指认君子结党。陛下如果能挑选重用中立的士人，那么党派的隐患就会消除了。”因而撰写《君子无党论》上呈皇帝。当时程颐身任崇政殿说书，苏轼说他讲经典不近人情，程颐嫉恨在心。于是程颐门人右司谏贾易、左正言朱光庭一起弹劾苏轼。
苏轼曾经侍奉哲宗皇帝诵读《祖宗宝训》，因而谈到时事，逐个发表看法，说：“如今赏罚不够分明，无法劝勉善人行善，无法阻止恶人作恶。黄河水势正向西流，却勉强让它向东流；西夏人入侵我边关重镇，杀伤抢掠将近一万人民，领兵的大臣遮掩过失不向朝廷禀报，朝廷也不加过问。事情如果都像这样，恐怕国家慢慢有衰落的趋势。”当政的大臣怀恨在心，让赵挺之、王觌攻讦他，苏轼知道自己在朝廷没有立足之地，便请求调任地方官。元祐四年，他以龙图阁大学士的身份再次出任杭州知州，出京到郊外还没起程，皇帝太后派遣宫中太监赐予苏轼龙茶、银盒，用的是以前对宰相的施恩惯例，这对苏轼可谓是慰劳极其隆重了。
【评论】
神宗皇帝每每读到苏轼文章总是赞叹他是一代奇才，可以说皇帝对他有世上少有的知遇之恩了，正想重用苏轼，就驾崩了。文人的命运往往像这样不幸。苏轼被召入宫中问答，宣仁太皇太后说明缘故，苏轼越发感恩戴德，竭尽忠诚辅佐君王。旁观者疑惑苏轼多管闲事，当政者的攻讦也出于不自觉。忠诚可信，却被怀疑、被诽谤的，古往今来何止苏轼一人呢？
自古以来树立党派门户的习气，大多因为君子和小人互相攻击指责，犹如香味和臭味、冷冰和热炭，性质本就是相对的，故而对立。从没听过正派的士人相处在一起还彼此各自分门立派，像洛党、蜀党那样的说法，似乎不大恰当吧！然而后代的党派竟然能明目张胆，各自为夺取利益和权力，不择手段，无所顾忌。这不仅宋代贤人不肯做，也是被唐代牛、李党争的人物所唾弃的。
苏轼出任杭州时，文彦博身为平章军国事，吕公著身为平章军国重事，吕汲公、范尧夫身为左、右仆射。文彦博谆谆规劝苏轼到杭州后不要写诗，生怕言官挑刺上报给皇上。苏轼出守杭州，文彦博不久就去世了，范尧夫也离开朝廷，以上四人都不忌恨苏轼。只有中书侍郎刘挚与邢恕交好，苏轼跟邢恕同为起居舍人的时候，邢恕的儿子刑宽夫跟苏轼交朋友，苏轼跟邢恕素无怨仇。可邢恕是个狡诈之徒，凡是跟他认识的人无不被他构陷成大罪，苏轼后来也被他中伤。后来协助章惇一定要杀刘挚也是邢恕所为。这样的人，只希望不要认识最好。