苏东坡在翰林院三年，深受太皇太后宠信，风光一时，但是树大招风，嫉恨他的人也不在少数。
东坡眼见朝中党派对立，明争暗斗；钩心斗角，了无宁日，心里又升起了急流勇退的念头，在哲宗元佑四年请求外调越州，远离京师是非之地。
不久，朝廷准他以龙图阁学士的身分知杭州，苏东坡非常高兴的说：
昔日西湖未了之愿，如今可以完成了！
于是，他很快就携眷向江南进发，这年他已五十四岁。
东坡离开杭州虽已十六年，杭州百姓听说苏学士要回来做太守了，大家争相走告，高兴万分。在他到达杭州那一天，全城百姓扫地焚香，出城郊迎，场面热烈而感人，东坡频频向大家挥手问候，如归乡里。
上任不久，杭州就发生了旱灾，接踵而来的是饥荒和瘟疫，又给了东坡一次重大考验。
东坡立即展开救济工作，请朝廷减税，办理平价米，兴建病坊，医疗病患，救活了不少人，百姓把他当成了活菩萨。
接着他又兴建水利工程，疏浚湖泊，将西湖中之葑草淤泥，填筑成一条贯湖长堤，南北三十里，百姓称之为苏公堤，堤上还造了六座桥，分别名为映波、锁澜、望山、压堤、东浦、跨虹，堤上种了桃、柳、芙蓉；湖中也种满菱、荷。
春天一到，桃红柳录，相映成趣，东坡有诗记述此事：
六桥横绝天汉上，北山始与尚山通；
忽惊二十五万丈，老葑席卷苍烟空。
东坡常在办完政事之后，邀约同僚和文人雅士，泛舟湖上，饮酒征歌，入夜方罢，逐队归来，城中仕女，夹道观看，都啧啧称羡。
参寥子云游他去，此时不在杭州，东坡深感物是人非，触景伤情，写了一首寄参寥子的词八声甘州：
有情风万里卷潮来，无情送归潮。问钱塘江上，西兴浦口，几度斜晖？不用思量今古，俯仰昔人非，谁似东坡老？白首忘机。记取西湖西畔，正春山好处，空翠烟霏。算诗人相得，如我与君稀！约他年东还海道，愿谢公雅志莫相违。西州路不应回首，为我沾衣。
词中流露出浓厚的追求解脱的情怀，东坡本就潇洒达观，在饱经忧患，宦海浮沉之后，又已达知命之年，对于得失穷达也就看得更澹泊了。
苏东坡一直相信他前生曾经住在杭州，他的诗文及和他同一时代人的笔记中，都有类似的记载：
东坡第一次到杭州的时候，有一天和友人同游，到了寿星院，一进门就觉得一切景物都非常熟悉，他告诉同游的人，如果他所记不差，登上九十二级石阶，便到向忏堂，而且把寺院后面的楼台庭院，一木一石，说得历历如绘；后来证实他所说的情形，丝毫不误。
东坡还有一种想法，认为一切遭遇和唐朝的白居易大多类似，他在笔记中说：
予去杭十六年而复来，留二年而去，平生自觉出处老少粗似乐天，虽才名相远，而安分寡求亦庶几焉。三月六日来别南北山诸道人，而下天竺惠净师以丑石赠行，作三绝句：
当年衫鬓两青青，强说重临慰别情；
衰发只今无可白，故应相对话来生。
出处依稀似乐天，敢将衰朽较前贤；
便从洛社休官去，犹有闲居二十年。
在郡依前六百日，山中不记几回来；
还将天竺一峰去，欲把云根到处栽。
佛家有因果轮回之说，古人也多相信有前生及来世、转世投胎、善恶报应之说，常常可以听到。
苏门四学士之一的大诗人黄庭坚，左边胳肢窝有狐臭。据说在他做四川涪州太守的时候，一天夜里梦见一个女子向他说：
我是你的前身，现在埋骨某处，棺木已经腐朽，左侧有一个大蚂蚁洞，请你把蚂蚁洞替我移开。
黄庭坚醒后，果然依言找到了那个坟墓，重新加以整理，当然也照梦中人的话把蚂蚁窝挖掉了，奇怪的是，黄氏左边胳肢窝的狐臭居然不药而愈。
东坡做杭州太守转眼间过了两年，又奉诏入京，因为东坡预防灾变的措施得当，杭州民众免于流离死亡者难以数计，所以人人都感念他的恩德，扶老携幼，出城相送，依依不舍的洒泪而别，几乎户户都供奉着苏东坡的长生牌位，以示怀念和祝福。
东坡入京的原因，说起来是朝廷念他治理杭州有功，召回翰林院准备予以擢升，实际上是太皇太后想任他为宰相。这时子由已由尚书右丞升为门下侍郎，政敌眼看这种情势，大起恐慌，立即对东坡展开了一连串歪曲事实的恶毒攻击。
王安石已死，表面上新党势力业经消失，但新党程颐的门人贾易，诬指苏东坡请辞是向朝廷施加压力以要求相位；并说他虚报杭州灾情；说他填筑西湖的苏堤，是劳民伤财，于公于私，两无利益，总之只要能罗织罪名，不惜颠倒是非，统统加到苏东坡头上。
所幸太皇太后深知这是恶意的陷害，不但没有降罪东坡，反而将害他的人一一外调，但是东坡对这种党争厌烦透顶，决心再上表章请求外放，不愿再待在京中䠀混水。
三个月后，朝廷终于批准东坡以龙图阁学士外放，到安徽省的颍州（阜阳）做太守，一场风波才算平息下来。
东坡到颍州的这一年是哲宗元佑六年，他已五十六岁，眼见从东南各地涌来成千上万的灾民，连野菜、树皮都被搜尽吃光，人命如蚁，盗贼蜂起。
苏东坡又急忙展开救灾工作，请求朝廷宽免民债，开储粮赈饥民，乞罢黄河征夫万人，整治本州沟渎，并与赵德麟同治西湖，真可说活人无数。
次年正月，堂前有花大开，月色鲜霁，夫人王润之说：
春月胜如秋月，秋月令人凄惨，春月令人和悦，何不召赵德麟等人，饮此花下。
东坡大喜说：
我不知夫人也能作诗，说的全是诗人的话。
于是邀请了赵德麟及欧阳修的两个儿子，欧阳棐、欧阳辩，在花前聚饮。
东坡依王夫人的语意，填了一阕词减字木兰花：
春庭月午，摇荡香醪光欲舞，步转回廊，半落梅花经婉娩香。轻烟薄雾，总是少年行乐处。不似秋光，只与离人照断肠。
东坡只做了八个月的颍州太守，又调任扬州太守。江苏湖泊地区逐年歉收，饥荒成灾，苏州、湖州、秀州一带，人民死亡过半。他在上朝廷的报告上说：
有田无人，有人无粮，有粮无种，有种无牛，殍死之余，人如鬼腊。
臣自颍移扬，舟过濠、泗、寿、楚等州，臣每屏去吏卒，亲入村落，访问父老，皆有忧色，云：丰年不如凶年，天灾流行，民虽乏食，缩衣节口，犹以生。若丰年举债积欠（青苗贷款），胥徒在门。枷棒在身，则人户求死不得。言讫泪下，臣亦不觉流涕。
丰凶皆病，哀鸿遍野，这就是王安石变法的结果。
东坡以悲天悯人的胸怀，一再为民请命，免税、赈灾，成为万家生佛。
宋朝民间迷信之风很盛，请神弄鬼，画符捉妖的名堂，随处可见。
一天夜里，东坡梦见身在山林里，一只老虎突然向他扑来，正惊怖万分之际，一个紫袍黄冠的道人现身，一挥宽大的袍袖，遮住了东坡，向猛虎大喝一声，说也奇怪，那只凶猛的老虎，居然闻声掉头逃窜而去。东坡醒来，出了一身大汗，心头犹自兀突不安，不料天亮之后，竟有道士投帖拜谒，东坡已明白了几分；相见时道士问东坡：
大人昨夜受惊了吧？
东坡一听，恍然明白，昨夜必是道士作法所致。立刻喝斥道：
大胆鼠辈，竟敢对本官故弄玄虚，你以为我不知道你使的夜来术吗？我应该叫人打你一顿板子才对！
道士吓得脸色如土，连声哀求：
小的罪过，请大人宽恕！大人宽恕！说毕抱头鼠窜而退。
东坡任扬州太守七个月，又奉诏入京，任兵部尚书，两月后又迁礼部尚书。子由仍然官居门下侍郎。
表面上看苏东坡正值鸿运当头，但是此后他的命运急转直下，步入一生中最为凄苦伤心的岁月。