鹿谷之变暴露后，清盛恍然感觉到已成为众矢之的。但是心高气傲的他，不肯自我检讨，反而认为是法皇对他不起，有功不赏，好歹不分，因此愤恨不平，有意发作，幸而到了治承二年（西历一一七八年），忽报皇后德子有喜了。德子是他的爱女，选进宫里为高仓天皇之后，已有八年之久，始终未孕，此次怀胎，清盛真是惊喜交集，如果一索得男，将来登基为帝，自己岂不是可以以外祖而摄政了么！这是历来人臣最高的愿望。清盛于是亲身到严岛祠，请求神祇赐降麟儿，等到十月临盆之期，偏偏难产。廷臣纷纷议论说是过去杀人太多，怨魂作祟，清盛也深感内疚，延请了高僧禳祷，法皇这时也虔诚地替儿媳妇诵经念佛，经过一阵子闹哄哄之后，真所谓精诚格天，孩子安然出世了！清盛抱着新生的婴儿，喜极而哭，由于宁馨的出现，清盛对法皇的怨气软化了，为了表示他的喜悦，特地选献了锦帛黄金等物，哪知法皇却又多了心，说道：怎么！拿我当专干祈祷的！居然给我赏钱！两人之间误会很深了，尤其重盛故世之后，居中调解的人没有了，而清盛经常又不在京里，他在褔原地方另辟了他个人的据点，因此法皇的左右更容易挑拨是非了。治承三年，嫁给藤原家里的盛子，是清盛的三女，青年守寡，这时病故了，她留下的遗产很多，都由公家接收了。她的夫弟（小叔子）藤原基房位为摄政，奏请法皇任命他八岁的孩子师家为中纳言，这一缺循序应该由藤原基通递补的。基通是盛子的义子，也就是清盛的义孙，而这位小叔只顾到了自己的儿子，把嫂嫂家里的关系忘得精光，他最不该的是奏请法皇将原来已经赐给了平重盛的越前国的领地，在重盛死后马上收回，这简直是昏了头，故意与平家为难了。清盛那里忍受得了，恰巧这年的十一月里，京都大地震，人心惶惶真像是末日到来，互相走告，说是太政大臣要来了，果然到了十四日，清盛率领了全身披挂、金甲耀日的几千骑士，由褔原杀奔到都城里来了。基房情知不妙，赶忙叩谒法皇，说：清盛来修怨于臣，恐不复能奉侍左右矣！法皇答得好：虽朕亦不能自保也！君臣二人牛衣对泣还能有什么用处！清盛这次无人谏阻，他实行逼宫，把后白河法皇迁到鸟羽殿关起来，由武士看守，只准信西的两个儿子进出陪伴他。又免了基房等四十三个人的官职，却将那位想补为中纳言而不得的基通，擢升为摄政了。这时任何官职都不过是徒拥虚名而已，大权集中在清盛一身，他一意孤行为所欲为，可怜物极必反，褔兮祸伏，清盛的末日快到了。
到了治承四年，清盛急于想以外祖的资格摄政，便把女儿德子所生未满两年的小娃娃，捧了出来为帝，号称安德天皇，而尊他父亲高仓为上皇。高仓则一肚皮的狐疑，爸爸被囚，儿子为帝，究竟是凶是吉，清盛对他本身如何处置，他不敢问也不敢向人打听，只有求神保佑了，他于是偷偷乘了宋朝来贸易的商船，出海到了严岛参拜神社请赐奇迹。他回到了京都时是四月初九，果然就在这一天神祇降灵了。
当天夜里，真是鬼使神差，忽然以仁王府里来了几位不速之客，以仁王是后白河法皇的次子，他诗歌书画无一不精，不过受了平家的排挤，始终出不了头，连亲王的宫衔都当不上，他胸怀郁抑，已非一日，尤其眼看着清盛的跋扈不臣，幽禁自己的父亲，更是气愤填膺，但只恨他手无缚鸡之力，又与武臣之间毫无渊源，只有徒呼负负。不过由于他才名很高，为人温雅，尤其精于相术的少纳言藤原宗纲有一天看到他，断言他必将大发，身任国柄，这预言不胫而走。凡是恨清盛的人，都寄望在以仁王身上，认为只有他才能灭清盛。初九夜深人静，来访的是源赖政以及他的两个儿子。源赖政是一位年逾古稀的老将，在过去的几次变乱中，都曾立了功而从未邀赏，眼看着平家班一个个大红大紫起来，自己总没有份，但他沉得住气，以吟诗歌为乐，在诗歌坛上的知名度，也不亚于他的箭技武功了。好不容易挨到了治承二年，清盛忽然良心发现，也不知哪里听来，说老将病重将死，于是他上奏本，举荐源老将军晋级为三位（品）官，文曰：
源平二氏国之坚也，而平氏独膺上赏，遍及全族，此固平氏戮力王事应有之酬，盖亦皇室眷念勋劳，不吝厚赐也。源氏亦多勇士，惜多附逆，致遭天讨。惟源赖政者赋性正直，勇名满天下，而屈居下位未蒙升擢者有年，兹年逾七十，尚未达三位，迩来复婴重病，深恐不久于人世，恳赐加叙，庶几生前得沐圣恩！
清盛是做给人看的，不但示恩于源氏，并且表示他大公无私！但是老将源赖政岂能不懂！清盛尽管卖好，源赖政硬是不见情，硬是不感激。这时他已七十有五岁了，并没有病，身子硬朗得很，他久仪以仁王诗歌的盛名，也深知以仁王的遭遇，特来探探口风有无反平的意愿，两下交谈之后，异常投契，老将于是掏出拟订好了的讨伐清盛的计划，只需以仁王降旨，由他负责传檄东国各地的源氏子孙，共同起兵讨贼就行了，以仁王大喜拜倒在地，真是正合孤意。他立刻亲自起草讨平檄，自封为最胜亲王以取个吉利。老将得到了密旨之后，他利用当年风行参拜熊野神社的习俗，派人赶到熊野去散发以仁王的旨令，果然各地的英雄豪杰闻风而起，真是如火燎原，讨平氏的呼声响彻云霄了。
清盛还蒙在鼓里，他只知道是以仁王反对他，绝没有怀疑到反他的主谋，就是他提升为三位的源赖政。他一方发动廷议，贬以仁王为庶人，改他的名字为源以光，发配到土佐去充军，另一方他命令老将源赖政为先锋，率领兵将剿灭叛徒，他惯用权术，以为利用了源赖政，源氏子弟就不会跟他作对了。哪知他所派遣的非违使，到了以仁王府，以仁王已经先得到了源赖政所递的消息，逃到了圆城寺去了。本来各寺的和尚一向据山为王，互相嫉视，这时看见王子遭难，延历寺、兴褔寺的大众都和圆城寺联合起来，一致拥护以仁王抗拒平家，不过僧兵虽然凶狠，究竟不是久经征战的队伍，当然敌不过平家的正规军，而源赖政所号召的各地义士，以事出仓卒来不及集中。因此平家的大军一到，便无法抵御。源赖政此时纵然带了二子逃脱了平家营，投奔到以仁王麾下来合流，无奈寡不敌众，只好奉了以仁王往奈良方面退走，行到宇治川的平等寺的地方，被追兵赶上了。源赖政只有拼死一战，他仗着川流甚急，将那长桥拆断了，不料敌骑由上游强渡而过，形成包抄之势，老将看事不可为，拔刀自刎了，两个儿子也都殉难，以仁王单骑逃脱，但到了光明山前为敌军发现，被流矢所中，堕马而死。文弱书生千金之子，为了锄奸丧生，但他精神不死，讨贼的密旨仍然活生生地传递着，像野火一样，烧遍了东国。时为治承四年五月二十七日。西历一一八○年。他行年整三十岁。
在平等院激战的晚上，清盛忽然心血来潮，由褔原赶到了京都，几天后他向天皇、后白河法皇、高仓上皇宣布，定在三日迁都褔原。这是晴天霹雳，谁也不敢问理由。六月初二，天皇、法皇、上皇依命起程，在摄津过了夜，三日到了褔原，褔原一切都没有准备，三皇只好委屈着分别住宿到平氏族人的家里。大臣们更是无处容身，只好露宿了。幸好六月天气，虽然夜凉如水，也还熬得过去。褔原，倚山面海，风景优美，只恨面积太小，纵然想大兴土木，无奈地方局促，划不出几条通衢大道来，六卿百僚势不能举家迁居，弄得妻离子散怨声载道，但谁也不敢公然抗命不来，深怕会惹重罚，真是敢怒而不敢言。清盛面临到众叛亲离的局面了。
褔原决定为新都之后，发现种种条件都不够，不但面积不足以规划成为略具规模的城市，尤其散在各要冲的平家庄宅不敢动分毫，因此无法实施都市计划。同时平家的子姪在京都早有豪华的邸宅，谁肯放弃那美轮美奂的天地，重新再来经营这片新地区呢！平宗盛，清盛的第三子，第一个反对迁都，他株守着京都的老宅硬是不搬，平家的大亨、皇室的外戚平时忠也昂然不理。而朝中大小官吏不能不服从命令的一个个叫苦连天，在新搭盖的茅屋里度日，而秋风一起，寒风透骨，一向舒服价了的娇生贵胄，都生起病来。同时偌大一个华美的京都，经过了几百年的惨澹经营，骤然放弃，登时荒凉了起来，百业萧条，人迹稀少，首先要求还都的是延历寺的和尚，他们凶得很，居然要挟说，如若不依，他们就要动武！平宗盛也苦谏他父亲，父子之间发生了很大的争吵，这时已经到了十一月里了，海天呈现着一片灰黑，更令人想念京都的灯红酒绿来，延历寺又再度上奏请还，可是十一月十一日在褔原营造的皇宫完工了，清盛请天皇移居，二十日丰明节照样的举行，到了二十三日忽然发令：一个人都不许留，全部离开褔原回到京都去！就这样，二十六日天皇、法皇、上皇以及平氏一家、大小官吏随从士兵，浩浩荡荡地又迁回去了。
当时的才子学者藤原兼实在他的实录《玉叶》里写道：
一天之下，四海之内，王侯卿相，缁素贵贱，道俗男女，老少都鄙，无不欢喜，此事诚散众怒，万氏之所企望也。
足见得清盛离奇的迁都还都，完全是一时冲动的行为，他那时已迹近精神错乱，坏事做得太多，怀疑人家会来暗算，尤其以仁王的暗影不离左右，使得他坐卧不宁，实际上以仁王的密旨确实是在发生极大的作用，清盛扰攘迁都还都的当口，源氏诸雄一个个都在摩拳擦掌，挺枪跃马地形成气势，不再是星星之火了。
平治之乱中被清盛俘虏了的源赖朝，那时十三岁，若没有慈悲为怀的老婆婆池禅尼来救，早成为刀下之鬼了，经过整二十年伊豆的流放生活，他变成冷静深沉、喜怒不形于色的一条好汉。监护他的人北条时政虽然是平氏族人，但早就看出源赖朝是个杰出人物，他不但没有当他是个囚犯，反而选他为东床佳婿，把女儿政子嫁了给他。而赖朝确也是个人才，他默察平清盛的作为，知道他狂妄自用，终会垮台，他秘密地纠合了同志，令他们分散各地，布成情报网，京里的一举一动都有人向他报告，甚至其他要冲之处，都有他的眼线。他自己却好像端坐在伊豆，一心念佛不问世事的样子，所以平清盛从来也没有把他放在眼里。以仁王的锄奸企图，宇治川的战败，源赖政的自杀，以及以仁王的被弑，他都得到报告，知道这是起义的机会到了。他便会同了丈人北条时政以及同志八十五人，在治承四年八月十七拂晓袭杀了平氏派驻的官吏，五天之后便由伊豆出发，正式反了，沿途又纠集了一些党徒，居然也有了三百人左右，不过乌合之众，难以敌对有训练的队伍，到了石桥山，遇见了平氏的正规军，一接触便溃散了，北条在甲斐有旧，赖朝急命他往甲斐逃去，联合所有的同志再图发展，他自己则率领了残余，偷渡到了安房，然后转来上总，上总的太守平广常居然和他合流，揭起了以仁王讨清盛的旗帜，进入到武藏野了。
武藏野原是个荒凉的平原，漫山遍野长满了草。这里是葛西族的盘踞地，他们以畜牧狩猎为生，以山林为家，个个精壮慓悍，是一群善驰驱、使强弩的粗坯，他们这种肝胆相照不顾死活的斗士，和京都里习于礼仪的宿卫武士大不相同，源赖朝一到之后，葛西族的头领葛西清重闻风来投靠，赖朝大喜，有了葛西族为后盾，他的气势大振，治承四年十月，他进入到镰仓，以镰仓为他的根据地了。
那时清盛还在褔原忙于建都，他连连接到捷报，快骑并传说赖朝已经战死，清盛也深信不疑，以为么魔小丑是不堪一击的，毫不在意，忽然东国有情报来说赖朝没有死，并且气势浩大，自成劲旅了。清盛大怒，他也发现自己做错了，叫道：东国奴辈，皆彼父祖家人，而我派彼于东国，是使彼群来灭我家也，何异借盗钥乎！他于是赶去见上皇，二十岁的高仓。 《日本外史》写清盛与高仓之间的对话，极其生动，照录如下：
陛下妙龄，盖未及知耳，往时有为义、义朝者，敢行凶逆，欲敌法皇，臣以谋略诛夷之，而义朝少子有赖朝者，此竖子，获之伊吹岳麓，当斩，臣继母为请宥之，臣即召见之，曰十三岁，短身涅齿，有问辄答不知，特悯其幼稚，且自谓与源氏非有宿怨，特以君命焉尔，遂宥之，今闻其在配所，敢谋不良，臣不堪悔恨，请得宣旨讨之。上皇曰，禀法皇，答曰，主上幼（这是指安德天皇才两岁），陛下亲父，决在圣断，何直禀法皇为，陛下莫乃庇源氏乎？上皇哂曰，犹为此言邪？即赐宣旨。因问大将可属谁，曰臣嫡孙维盛可。
由这篇记载里，可以看得出清盛的火气与度量，他对于后白河法皇始终耿耿于怀，也怀疑皇室袒护源氏。
维盛才二十三岁，以右近卫中将，做追讨使率领大军出征，行到中途，听说赖朝领兵二十万，由镰仓出发，越过了足柄山，到达黄濑川，又和北条时政所召集的军队二万人会合。两军隔着富士川布开阵势，维盛手下将佐意见不合，尤其任向导的斋藤实盛建议绕道速战，未被采纳愤而归去了。最糟的是维盛所带领的兵都是新募的，没有见过大接战，看见对方黑压压的一群，漫山遍野的旗帜，已经胆颤心惊，十月二十日的夜里，忽然到处听到哗哗一片衔枚疾走的声音，是河里的水鸟群飞，士兵惊起，以为源家军来夜袭，于是人马相踏借而走，全军溃散，逃得无影无踪，只剩下追讨大将军和他的主要将佐十骑，狼狈回到了京都，是治承四年的十一月五日。
清盛大怒，把维盛叫来痛骂：你奉命为追讨使的那一天，就是将性命献给皇上了，倘若你军败尸骨无存，倒没有什么可耻的，但是现在你这追讨使不交兵就全军覆没，还有脸回来！他恨极了，但他没有勇气处罚他的孙子。藤原兼实在《玉叶》里写道：
追讨使败后，竟无下文，清盛神情自若，了无惊恐之态，宛如中酒，平家气运恐将尽矣！
旁观者清，平家的气运是完了。十一月二十六日，清盛奉了三皇由褔原回到了京都，第二天二十七日，延历寺的和尚就宣布他们与源氏合流，二十八日平家的属领知行、差狭等地的官人一个个也附了源氏，二十九日圆城寺的僧兵也与源氏的军兵结集在一起了，明显的，富士川的一战，平氏的弱点暴露无遗，成为四面楚歌的态势，但是对付僧兵还绰绰有余，这时已如发狂的困兽，以清盛的第五子为大将向各寺进军到处烧杀，结果数百年来的宝刹，兴褔寺、圆城寺、东大寺，大佛殿都烧得精光，寺里的和尚也遭了浩劫，死者千余！
养和元年正月高仓上皇崩。英年早逝，是一位仁孝聪慧之主，诗歌都作得好，又会吹笛子，可怜受制于权臣，抑郁以终。他逝后清盛发了慌，安德天皇才得三岁还不懂事，无法挟天子以令诸侯，但想起左大辨藤原长方曾经劝他宣复政于法皇，于是只好老着脸，把幽禁了两年多的后白河法皇请了出来求他听政，法皇不肯，他献上了两块肥田美浓和赞岐来赔罪，法皇才勉为其难地应允了，士气说也奇怪立刻好了起来，平家军连连告捷，局面似乎又稳定了下来，但是清盛的死期到了，他有一次独坐，忽然看见阶下有数百个人头，汇结成为一个大头，然后张目瞪着清盛，清盛也就回瞪，人头慢慢缩小而灭。他家里养的马，忽然老鼠在马尾里做了窝，占者认为不祥，以小犯大，鼠为子，马为午，子午冲是源氏冲平氏之兆。
到了养和元年的闰二月末，清盛病了，发高烧，烦躁得不得了，泡进冷水里去，水都会热起来，他难过极了，号叫的声音，连门外都听得见，他知道快要死了，对家人说：我位极人臣，又为帝者的外祖，还能有什么憾事，只恨没有能看见源赖朝的头而死，我死之后不要供佛，也不要念经，只要斩了赖朝的头颅，挂在我的坟前就行了！病了七天，薨。六十四岁，他的愿望始终没有能达成。时为西历的一一八一年，中国已是南宋孝宗时代了。