但王安石依然固执己见，他认为天变不足畏，即使尧舜在世也无法避免天灾，派人治理就行了，没必要更改新法。为坚定宋神宗的决心，他打了一个比方：天下事就像烧开水，烧一把火，接着又泼一勺水，什么时候能烧得开呢？

就在宋神宗犹豫不决的时候，看守汴京安上门的小吏郑侠绘制《流民图》，将流民的困苦情形以图画形式进献给宋神宗，请求朝廷罢除新法。

宋神宗反复翻看图画，为之长叹不已，当晚夜不能寐。他意识到新法出现了巨大弊病，为今之计应如猛药治沉疴，迅速采取应对措施，对症下药。

翌日，宋神宗下诏，令开封府发放免行钱，三司使查察市易法，司农发放常平仓粮，并命各地暂停追索青苗、免役法，罢除方田、保甲法，同时上报百姓流散原因。

他一连推出十八条措施，民间为之欢呼雀跃。

非常凑巧的是，三日后天降大雨，旱灾为之缓解。在古人看来，这是天子悔过、上天宽宥的表现。朝臣纷纷上表，祝贺皇恩浩荡，消弭天灾。

不久，王安石罢相，改任观文殿大学士、知江宁府。临回金陵之前，他推荐韩绛为相，又推荐吕惠卿担任参知政事，以继续推行新法。

吕惠卿是一头白眼狼。他一度视王安石为恩师，是王安石变法的第二号人物。然而当他掌握朝政大权后，一边清算郑侠将其流放，一边借机构陷王安石的弟弟王安国，试图以此阻止王安石重回朝堂。

他不仅徒劳无功，反而把自己的人品给败光了。公元1075年2月，王安石再次入朝拜相，吕惠卿则外任知陈州，从此远离政治中心。

只不过，变法派的锅里已添上一瓢冷水，原有的柴火再也烧不开这锅热水了。王安石的权威不复当年，无力继续推行新法。翌年，王安石托病请辞，再次回到故乡江宁府。

王安石的时代就此过去，但是新法依然在推行。宋神宗亲自主持变法，一边重启旧派人物收拢人心，一边任用新党采取更强硬的手段推行改革。

这一年，宋越之间爆发大规模战争。交趾军水陆两路并进，分别进占廉州（今广西合浦）、钦州和邕州（今广西南宁）。宋朝起兵五万收复失地后反攻，经过两年激战，迫使交趾国王割地求和。