唐代宗方加倚畀，偏偏天不假年，因此天颜震悼，特追赠李栖筠为吏部尚书，予谥文献。其子李吉甫后相宪宗，下文自有表见。
单说唐代宗因李栖筠去世，失一臂助，急切里无从除掉元载，只好再行含忍。
中经幽州不靖，魏博发难，汴宋军又复作乱。迭经弥缝挽救，稍稍就绪。因欲叙元载始末，故将各镇事，浑括数语，待后再详。不幸贵妃独孤氏，得病身亡。妃以色见幸，居常专夜，至此香消玉殒，教唐代宗如何不悲？当下在内殿殡灵，按时营奠，追封皇后，谥为贞懿。
好容易过了一二年，唐代宗方觉悲怀渐减，专心国事。
元载、王缙，已骄横得了不得，唐代宗实在忍耐不住，四顾左右，无有人可与之谋划，只有左金吾大将军吴凑，系唐代宗生母章敬皇后胞弟，谊关懿戚，尚可密谈。凑得操兵柄，力任除奸，乃与唐代宗谋定后行。
大历十二年间（777年）三月，有人密告元载和王缙夜醮，谋为不轨，当由唐代宗御延英殿，命吴凑率领禁兵，收捕元载、王缙，囚系政事堂，且拘逮亲吏诸子下狱。随令吏部尚书刘晏，御史大夫李涵，散骑常侍萧昕，礼部侍郎常衮等，共同讯鞫，所有问案，多出禁中。
元载与王缙无可抵赖，悉数供认罪状。左卫将军知内侍省事董秀，得元载平日丰厚贿赂，素作内援，到此才被发觉，即日杖毙，赐元载自尽，令刑官监视。
元载顾语刑官，愿求速死。
刑官冷笑道：“相公入秉国钧，差不多要二十年，威福也算行尽了，今日天网恢恢，亲受报应，若少许受些污辱，亦属何妨。”读此令人一快。
那行刑官乃脱下秽袜，塞住元载的口，然后慢慢地将他缢死。元载妻子王氏，系前河西节度王忠嗣女，骄侈悍戾，其子伯和、仲武、季能，无一贤能，伯和官参军，仲武官员外郎，季能官校书郎，怙势作恶，贪冒肆淫，都中辟南北二第，广罗妓妾，盛蓄倡优，声色玩好，无乎不备。及元载既伏诛，妻子等一家一并正法，家产籍没，财帛万计。即如胡椒一物，且多至八百石，俱分赐中书门下台省各官。贪财何益。
当初元载任相时，曾有一个书生求见，道：“听说你品格高尚，仁德而喜欢有才能的人。我就献诗一篇，用来寄托我的敬意。”
说罢，那个书生写下其诗道：“城南路长无宿处，获花纷纷如柳絮；海燕衔泥欲作窠，空屋无人却飞去。”（另一版本作“城东城西旧居处，城里飞花乱如絮。海燕衔泥欲下来，屋里无人却飞去”）
元载不明其意，而书生出了门便不见了踪影。一年多之后，如今的元载就被赐死，家族也破败了。此书生乃是吕洞宾化身警告元载，此人不知收敛，如今得此报应，自然是活该。
王缙本应赐死，刘晏谓法有首从，宜别等差，乃止贬王缙为括州刺史。
吏部侍郎杨炎，谏议大夫韩洄、包佶，起居舍人韩会等，俱受坐元载党遭到贬官沦为平民。
唯卓英倩等被搒死杖下，英倩弟英璘，家居金州，横行乡里，闻乃兄受诛，纠集众人作乱。
金州刺史孙道平，调兵征讨，一鼓擒灭。
唐代宗余恨未平，复遣中使挖掘元载祖坟，祖父以下，皆斫棺弃尸，毁家庙，焚木主，才算罢休。这也未免过甚。
唐代宗乃令国子祭酒杨绾，及礼部侍郎常衮，同平章事。
杨绾入相不过旬月，即染痼疾，上疏辞职。
唐代宗不许，命就中书省疗治，召对时饬人扶持，所有时弊，概付厘剔，可惜杨绾享年不永，赍志以终。
唐代宗感到很是痛悼，且语群臣道：“天不欲朕致太平，乃速夺我杨绾吗？”既知杨绾贤，何不早用？唐代宗遂诏赠司徒，赙绢千匹，赐谥文简。
杨绾，字公权，华州华阴（今陕西省华阴市）人。唐朝中期名相，户部侍郎杨温玉之孙、醴泉令杨