东坡在京中住了一年，在这一年当中，遭到的第一次打击是继室王夫人的逝世，死时仅四十六岁，一生随丈夫宦海浮沉，温柔贤淑，从无怨尤，总算分享了东坡最高的荣耀，和隆重的贵夫人丧礼。
东坡第二次丧妻之痛尚未平复，紧接着在九月里太皇太后也患病去世，她贤明果断，主政九年，用人唯才，一切以国家利益为重，对苏东坡更是言听计从，视为瑰宝，太后一死，朝廷失去了正义的主宰，年仅十八岁的皇帝，立即被奸臣包围，玩弄于掌股之间。
哲宗亲政后改元为绍圣元年，章惇被推荐为宰相，一反太皇太后的作为，恢复新政，把反对新政的元佑诸臣，一律冠以破坏先王德政之罪，牵连获罪者多达数百人，这就是历史上所谓的元佑党祸。
章惇把昔日的狐群狗党都召还入京，如吕惠卿、曾布、蔡确、蔡京之流，都给予重要职位，把持朝政，为所欲为，苏东坡被外放统领河北西部的定州，子由也被贬谪为汝州太守。
东坡在定州不久，又改调为英州太守，英州位于广东省大庾岭之南，因此得从北方，跋山涉水，千里迢迢的往最南边的山区赴任，他胸怀坦荡，一切逆来顺受，已经到了无所计较的境界。
不过由于没有充裕的川资，路途又遥远，就把侍妾、家丁遣散，只留两个女仆，朝云一直死心塌地的伴随东坡，他们只带着二十一岁的小儿苏过南行，半途中又接到了朝廷钦差快马传旨：
知英州苏轼，责受宁远军节度副使，惠州安置。
东坡如果不是一个坚强的人，很可能承受不了接踵而来的无情打击，如此的一贬再贬，真是够凄凉的。
东坡过大庾岭时，写了下面的一首感怀诗：
一念失垢污，身心洞清静；浩煞天地间，惟我独也正。
今日岭上行，身世永相忘；仙人拊我顶，结发授长生。
跋山涉水，千辛万苦的到达惠州，所幸太守对他非常礼遇，安置他们住在合江楼里。
亚热带的一切都很新奇，橘林、甘蔗、荔枝树，香蕉园，高大的槟榔树，都使东坡觉得是一个可以安居的地方。他伫立在合江楼上，眺望两江会合的浪滚东流，感慨万千，写下了一首寓合江楼诗：
海山葱昽气佳哉，二江合处朱楼开。
蓬莱方丈应不远，肯为苏子浮江来。
江风初凉睡正美，楼上啼鸦呼我起。
我今身世两相违，西流白日东流水。
楼中老人日清新，天上岂有痴仙人。
三山咫尺不归去，一杯付与罗浮春。
东坡安定下来之后，很快又恢复了读书、作诗、填词、写字、绘画、游山玩水，随遇而安的生活。
附近几州的太守和县令经常和东坡来往，礼物、酒食馈送不断，因此物质上也不感到匮乏。
黄州的老友陈季常，听到东坡的遭遇非常难过，特别派人送信安慰，同时说他不久即将前来惠州探望。东坡深为陈慥的盛情感动，但是想到两地相距千余里，立即回信给他说：
到惠将半年，风土食物不恶，吏民相待甚厚。孔子云：虽蛮貊之邦行矣；岂欺我哉！自失官后，便觉三山跬步，云汉咫尺，此未易遽言也。所以云云者，欲季常安心家居，勿轻出入，老劣不烦过虑，亦莫遣人来，彼此须髯如戟，莫作儿女态也。长子迈作吏，颇有父风；二子作诗骚殊胜，咄咄皆有跨灶之兴，想季常读此，捧腹绝倒也
自山中归来，灯下裁答，信笔而书，纸尽乃已
东坡在惠州居住虽有四个年头，实际尚不满三年，绍圣元年十月到达惠州，绍圣四年五月谪授琼州别驾。在惠州的前两年和朝云都研读佛经和道家长生术，炼丹、酿酒、钓鱼、游历，成了他的生活内容，他把书房名为思无邪斋。
在写给朝云的一首词里，也含有宗教的意味：
白发苍颜，正是维摩境界空，方丈散花何碍？朱唇箸点，更髻鬟生采。这些个千生万生，只在好事心肠，着人情态。闲牕下敛云凝黛。明朝端午，待学纫兰为佩。寻一首好诗，要书裙带。
朝云可说是东坡的红粉知己，一生追随东坡，至死不渝，东坡感于朝云的忠诚，写过一首诗相赠，以示宠爱，题为朝云诗，并在题后的引言中说：
世谓乐天有粥骆马放杨柳枝词，嘉其主老病不忍去也。然梦得有诗云：春尽絮飞留不得，随风好去落谁家。乐天亦云：病与乐天相伴住，春随樊子一时归。则是樊素竟去也，予家有数妾。四、五年相继辞去，独朝云者随予南迁，因读乐天集，戏作此诗，
不似杨枝别乐天，恰如通德伴伶玄。
阿奴络秀不同老，天女维摩总解禅。
经卷药炉新活计，舞衫歌扇旧因缘。
丹成逐我三山去，不作阳台云雨仙。
有一天，东坡与朝云闲坐，一时兴起，要朝云唱他早年在密州任上写的一阕蝶恋花，朝云遂展歌喉轻唱：
花褪残红青杏小，燕子飞时，缘水人家绕，
唱到此处，朝云竟已泪眼婆娑，声音哽咽，无法再唱下去。
东坡很诧异的问她是怎么回事。她说：
奴所不能歌，是枝上柳棉吹又少，天涯何处无芳草啊！
东坡笑说：
我正悲秋，妳却伤春起来了。
也就不相强朝云唱了。
到惠州第二年，东坡又兴起了在当地筑室养老的念头，在写给王巩的信里说：
某到此八月，独与幼子三庖者来，凡百不失所，某既弃绝世故，身心俱安，小儿亦超然物外，非此父不生此子，呵呵南北去住定有命，此心亦不念归，明年筑室作惠州人矣。
他在一座小山顶上，筹盖房子，种植果树，小山的名字叫白鹤峰，所以东坡就把新居定名为白鹤居。
不幸的是新居尚未落成，和他相依为命的朝云却一病不起，临死之前，还念了四句金刚经上的偈语：
一切有为法，如梦幻泡影，如露亦如电，应做如是观。
朝云的死，对东坡是非常严重的打击，他已年过花甲，一个饱经风霜忧患的老人，流落天涯，却又老来无伴，其心境之悲痛和凄苦，是可想而知的。
他把朝云葬在丰湖边栖禅寺的松林里，那儿风景幽美，寺僧为她建了一座六如亭（意谓如梦、如幻、如泡、如影、如露、如电）纪念她，死时仅有三十四岁。
东坡写的悼朝云诗，在题后引言中说：
绍圣元年十一月，戏作朝云诗；三年七月五日，朝云病亡于惠州，葬之栖禅寺松林中，东南直大圣塔，予既铭其墓，且和前诗以自解，。
苗而不秀岂其天，不使童乌与我玄。
驻景恨无千岁药，赠行惟有小乘蝉。
此心一念偿前债，弹指三生断后缘。
归卧竹根无远近，夜深勤礼塔中仙。
东坡又写了一阕词西江月，名为咏梅，实乃悼亡：
玉骨那愁瘴雾，冰姿自有仙风。海仙时过探芳丛，倒挂绿毛么凤。
素面翻嫌粉涴，洗妆不褪唇红。高情已逐晓云空，不与梨花同梦。