清盛死后，平家的重心，落在他的次子宗盛的身上，宗盛虽名为武人，但毫无武人气息，好修饰文艺，对于军事兵法绝无兴趣，和他的长兄重盛大大不同，重盛是位文武兼资智勇双全的英才，不但孝于亲，也忠于君，可惜他懔懔于父亲的跋扈不臣，在恐惧怅恨中抑郁而死，行年不过四十二岁，他死后，清盛便如脱缰之马，为所欲为，他的众子竟没有一个有胆有识敢于死谏的，宗盛虽然并不赞成他父亲的作风，但不能像他的长兄一样，堂堂正正地说以大义来纠正清盛，而任由清盛做出一连串自毁的举措，清盛逝世了，但是大错已铸，平家滑进了灭亡之路了。
宗盛承继了平家总管的大位之后，便去晋见后白河法皇，自陈过去他没能谏阻他父亲的作为，至为不安，今后他将唯命是听。同时请法皇发驾回銮，回到法皇的旧居法住寺殿里。算是与法皇和解了。不过自大惯了的人，往往不肯冷静衡量形势，宗盛当然也不例外，虽然他自承以后对法皇的诏旨唯命是听，但是到了真该承旨的时候，他却有了意见！赖朝占据了镰仓之后，他刻意经营，作为他的永驻据点，他很有礼貌地写信给平清盛的弟弟赖盛，感谢他当年为他求情，得以保全了性命，也上了一封恳切的奏折，文曰：
臣非敢为乱，乃靖乱耳！陛下倘不弃平氏，则请面讲和，二姓并仕如往昔，其忠否简在陛下。
他这漂亮的输诚言和之举，宗盛却不能把握，他一口回绝了说道：臣父临终命臣等，必与赖朝决死，语犹在耳，臣等不能和。后白河法皇碰了他的钉子，不便再勉强他，就让他派兵遣将自掘坟墓去，为了安抚他，任他为内大臣，赐随身兵仗，具驺从，极尽了人臣的恩宠。但是出师不利，兵败如山倒，在四面吃紧的情况下，京都岌岌可危了。
以仁王的檄旨不但振起了伊豆的源赖朝，同时又激动了另外一个源家子孙源义仲，他潜伏在木曾山谷里，隐姓埋名地过了二十多年，现在像颗彗星一样，放出极大的光芒来。他是孤儿，父亲义贤被亲姪儿恶源太所杀，恶源太恶且狠，要斩草除根，命令他手下人畠山重能将那才两岁的婴儿义仲也处死。幸而一点菩萨心肠救了这条小命，畠山把他委托给当时一位武士斋藤实盛，斋藤又让他奶娘抱走，远适他乡，辗转躲到了荒山里。长大之后，他练得一身武艺，在木曾城的土豪中原兼远家里当一名杂工，但是他英武豪迈，赢了小小名气，便被平家的爪牙侦知了。平宗盛发觉了之后，把兼远找了来，要他把义仲绑了解到京里来，并且叫他具了结效忠平氏，不可再有二心，兼远在淫威之下，一一都依了，但是回到家来，他却把义仲放了！这真是放虎归山，义仲知道平家要整他，便一不做二不休，纠合他那些同党，明目张胆地捧奉了以仁王的檄旨，响应了他的堂兄源赖朝，正式反了，时为治承四年（西历一一八○年）九月。二十七岁的小伙子勇不可当，由木曾出发之后，所向披靡，到了第二年的六月平家派了大军来剿，不料竟被他杀得片甲不留。宽永元年是个大荒年，干旱屡月禾苗枯死，田里一点收成也没有，于是饿殍遍野，民不聊生，但是平家连年败北，不敢怠慢，仍然厉兵秣马部署了防守的阵容，平家将一起都出动了。
平维盛虽然在富士川一役中，被水鸟吓溃，到底还算是平家最出色的大将，这时他拜命为追讨使，征调了各地的兵丁十余万人，进入北陆道，打算一鼓荡平义仲，然后再进剿赖朝，接战的初期，平家打了几次小胜仗，但是在俱利伽罗山麓的一战，义仲在朦胧的月色中，实行夜袭，利用了田单的火牛战术直冲到平营里去，杀得个鬼哭狼号，平军跌落到山涧里去的不计其数，是役也十万大军损折了三分之一，而平家的勇将清盛的第七子知度也丧了生。时为宽永二年的五月十一日。义仲于是像怒涛一般继续挺进，在筱原之役，义仲率领了五万之众大破平家军，七十三岁的老将斋藤实盛明知平家大势已去，他仍然独力苦战，被刺身死，敌将呈献他首级时，才发觉他满头白发，是从前救过义仲性命的恩人！
义仲继续追击，逼近京都了。京都附近的僧兵为了报复当年平家的烧杀，纷纷响应了义仲，声势浩大，朝中震恐，由后白河法皇主持会议，研讨退敌之策，其实这时除了接受源赖朝函中所提的意见之外，还能有什么方法呢？就是赦了源氏叛乱之罪，由源平二氏共事皇室，但是平家怎么能咽得下这口气？庙议又被他们否决了。恰巧在西海方面报称平家打了胜仗，虏获了大批辎重军粮，尤其在荒歉严重的时候，有了十万石食米，真是喜从天降，在这样的捷讯之下，更不甘言和了。平家于是又重新部署，期待坚守。可惜军心已经涣散，一接触便纷纷逃脱，义仲长驱直入，已经到京都郊外比睿山下了。
宗盛看到大势已去，召集了族人表示要奉了天皇、法皇一同避到西国去，徐图再举。宗盛的弟弟知盛说：不可，我为皇族后裔，于今八世为武臣，未尝退避，宁决战于此，刀折、矢尽而后已。他的两位叔叔也都以为不可。但是宗盛不听，便去请法皇，而法皇忽然不知去向，他不能再等，于是纵火把自己偌大一所华美邸宅烧了。带同小天皇、皇太后、皇弟，和国宝剑玺细软，以及他的族人全部往西去了。
宗盛的叔父赖盛一同去到岛羽的地方折回头，撤去了平家的标志赤帜，偷偷进入到京都，请求法皇准许他躲在御殿里。赖盛是清盛的胞弟，为了他父亲传给他一柄宝刀，始终为清盛所不谅，同时由于他曾经为源赖朝求过情，得以不杀，源赖朝至今称谢不忘，使得他更不必去和宗盛共命，但是此时脱离了平家，对平家确是致命打击，名副其实的众叛亲离了。
源义仲率领了他的东国武士，在宽永二年的七月二十八日堂堂进入了京都。在穷山里长大的义仲忽然到了花花世界的京都，简直是人间天上。他粗犷的性格和这文化精粹之地，当然难以相容，而他的部下士卒兵将，和他一样，都是绝无教养的一群野人。进得京来焉有不大发兽性，奸淫虏掠了起来，整个京都，被这新来的虎狼骚扰得天翻地覆。法皇也发了慌，任命他为左马头兼越后的太守，希望他做了官之后，能勒制他的部属。到了第二年的正月更擢升他为征夷大将军，并且把以前赐给平家的领地二百多所，全部转赐给他，登时他成为前所未有的大富翁。朝廷虽然用尽了方法来羁縻他，但是军纪仍不见好转。尤其他干涉到皇室的继承问题上，王公大臣们对他的憎恶更深了。他一心想拥戴以仁王的皇子北陆宫。但是这时小天皇安德天皇，虽然被平宗盛劫持而去，仍然在位，并且皇位继承的信物，镜、玺、剑，所谓的三神器，都在平氏手中，非先取回方能谈论到拥立什么人。而义仲急躁得不得了，逼迫法皇从速决定。义仲不过是一介武夫，怎么能有资格推戴自己心目中的君王，简直是狂妄，是对朝廷一大侮辱，因此王公大臣这时协议由法皇指定了高仓天皇的第二皇子立为后鸟羽天皇。义仲是个粗人，挨了这一记闷棍之后，大发雷霆，行为更为凶暴了。法皇坐卧不安，于是托词平氏还在蠢动，请他出征，他领了部属在寿永二年的十月去攻打屋岛的平家军，但是出师不利，忽然又听到源赖朝派了他两个弟弟范赖、义经率领大军西下，他心知不妙，即刻回师。赖朝和他原是堂兄弟，双方感情却早有间隙，杀他父亲的恶源太，就是赖朝的哥哥。双方在起义的时候，也屡有冲突，不过义仲总认为平家未灭，自家兄弟不该内讧，为了表明心迹，特地把儿子送到镰仓为质，结果双方的嫉视并未解消。赖朝所布下的情报网，早把义仲和皇室之间的僵化情形报告得一清二楚，他的密使也暗通皇室，皇室受不了义仲的欺凌，只有命令赖朝去追讨他了。
义仲回京之后，便怀疑赖朝的出兵是奉命而行，对皇室更加无礼，法皇无奈，只得派遣了一位检非违使平知康去劝他，哪知他竟变本加厉地毫不听劝，反而出言不逊，把知康赶了回去。知康回报的时候，将义仲横蛮无理的情形，如实地陈叙出来，然后加奏道，为了安全起见，应该邀延历寺、圆城寺的僧兵帮同卫戍，四岁的后鸟羽小天皇也应迁来和法皇同住。法皇都一一依了。哪知激起了义仲的愤怒，他冲进殿里，把法皇、天皇赶到别处幽禁起来，放了一把大火把整个殿堂烧了，然后将卫戍的武士僧兵六百三十多人全部杀光。这还不能泄他的愤，一古脑儿免了四十九位公卿的官职。
寿永三年正月，源范赖、义经的大军迫近了，他仓皇去应战，但这时他楣运当头了，连战连败，在近江的栗津被杀，枭首，挂在京都的狱门前，一代猛将，像彗星一样放了耀眼的异采，也像彗星一样，倏忽间消逝了。他死时才得三十一岁。
当源义仲像孙悟空一样，在京都大闹天宫的时候，平家将得到了喘息。他们在屋岛安顿了下来，在室山打了一次漂亮的胜仗，使得他们元气恢复了起来，尤其令他们兴奋的是义仲的恶行，让人民思平了。寿永三年，平家将已经将山阳南海一带诸州，次第收复过来，于是慢慢迫近京都，回复到他们的老巢褔原来，负山临海，重新修筑起一座坚固的新城来。以此为据点，又去克复了四周不少地方。声势旺了起来，可惜好运不继，义仲虽然死了，但是又来了一个克星。源范赖、义经好生厉害，尤其义经，和义仲一样年轻勇猛，却比义仲有教养，读过书懂得战略。兄弟两人攻破义仲之后，晋见了法皇，请到了讨伐平氏的诏旨，便率领了大军，来攻褔原了。义经一马当先，实行夜袭，把守在北山的平军击破，就来围城，平家将奋勇抵抗，数度却敌，但禁不起四面围攻，终于城破，平家将便弃了褔原，在一之谷再负嵎顽抗，杀得天昏地暗，平家勇将，清盛的第五子重衡被俘，平家子弟战死的竟达十人，当年都英姿飒爽的五陵贵公子，这时一一都被人斩了首。这一战役，平家惨败，宗盛和皇室眷属幸而都在船上，得以逃走保住性命。
义经大获全胜之后，驰归京都，献俘，法皇叫人传谕重衡，命他写信给宗盛，交出神器，就饶他不死，放还屋岛去。重衡明知宗盛不会肯，但法皇的命令不敢违抗，写去之后，果然无效，宗盛的覆书道：神器不可须臾离圣体也，陛下尚思忠盛、清盛遗勋者，则辱枉龙驾临幸西州，臣等护以西南四道兵，以讨乱贼，否者，臣等有赴三韩、契丹而已，不能奉命。
法皇无奈，便将重衡槛送到镰仓去，由赖朝亲自处分他。赖朝却表现得十分宽大，他简直待之如上宾。重衡请赐速死，赖朝反而摆上宴席；求为僧，反而叫了美女名千手的伺候他沐浴。千手又弹得一手好琵琶，酒酣耳热，重衡百感交集听着琵琶的音调，高吟了一歌：
烛暗数行虞氏泪，夜深四面楚歌声！
他自比西楚霸王，接下的悲剧重演在目前了。直到明年的六月，因为他曾奉父命率兵镇压过山僧，杀了很多人，并且烧毁了东大、兴褔两处宝刹，南都的和尚要报仇，只好把他解到奈良坂斩首。他刚三十岁。
一之谷接战后，平氏败保屋岛。而源范赖兄弟都没有水军，无法追击。因此兄弟二人暂时分手，范赖由陆路西进，防止平氏，而义经则折返京都，策划建立水军。但是京都方面的意向并不相同，自法皇以下，所有的王公大臣都以神器的安全为重，万一追紧了，平氏来个玉石俱焚，把神器毁了，那时悔之晚矣，便无以上对列祖列宗，也无以传后代。所以对讨伐平氏，也无限踌躇。甚至有人认为义经一味地想建水军，是不顾大体，迹近狂妄。幸而法皇对义经十分垂青，屡加恩赐，认为这位年轻人忠勇可嘉，在九月还不过是从五位下的官，到了十月里已经准许升殿了。后白河法皇对义经的宠爱，却恼怒了赖朝。义经官转左卫门少尉检非违使时，没有等赖朝的同意和举荐便接受了，与当年的协议不符，赖朝认为义经离叛了他而和皇室勾搭上了，就解除了义经追讨的任务，但是接替他的范赖，并非将才，只能守而不敢攻，平家将利用他的懦弱，慢慢恢复元气，赖朝到了文治元年，不得已只好再起用义经，义经于是刻意经营水军，一面再号召各方反平家的英豪们，建造船只，经他一呼百应，各色大小舰艨陆续聚集，居然和平家所有的船只不相上下了。义经即时进击，平家在知盛的率领下，奋勇迎战，可恨兵士眼看着大势已去，都纷纷溃散逃命。知盛不得已只好退保坛之浦。这时源家军由海陆双方包围过来，把平家将围在中心，平家这时还有五百条船，不过其中田口成能的态度十分暧昧，知盛看穿了他有问题，请宗盛即刻处置他，宗盛不肯，反而召了他去，要他当心，明显地暗示了他，是对他起疑了。
接战开始，田口成能果然率领所部的船只叛变了。登时阵容大乱，知盛看到事不可为，登上他母亲时子的船上报告战况，船上的女眷纷纷来问情形，他大笑说：东方的武士们会来接你们去了！他母亲这时非常镇定，把她的外孙小天皇用宽带紧紧束在一起，小天皇问道：婆婆咱们到什么地方去？婆婆还委婉地答道：到最安全的地方去。然后她把宗盛找了来说：你不是我的儿子！是一个伞工之妻所生，那时你父亲切望我在重盛之后再生一个男孩，我却生了个女孩，恰巧那时你出生，就把我女换了你过来，现在你是平家人，要死得漂亮！说罢，她便背着八岁的小天皇，手里拿着神剑，投海而死了。太后跟着也投海，不过为人所救起。平家将知盛、教盛、经盛一个个都战死，唯独宗盛跟他的儿子清宗还想逃生，但是已经被敌舰团团围住，脱身不得，又没有勇气自裁，舟子看他们下不了决心，故意走到船边将二人双双推下水去。但是他们都是泅水的健将，游不多时便被人发现捞起送给义经，平家将全军覆没，有能走脱的也都自杀。二十年前平家将飞黄腾达时，一门任公卿的十六人，许上殿的三十多，他们自豪地说除了平家人以外，都是没有出息的。短短二十年这批有出息的，都做了刀下之鬼。这是寿永四年（西历一一八五年）三月二十四日，距离南宋崖山之亡陆秀夫负帝投海殉国，早了九十四年。