留在朝廷对自己是一个潜在的威胁。刚好江西观察使魏少游请朝廷为他派去一些僚佐，元载就盛称李泌有才，可担此任。
唐代宗亦知元载是有意调离李泌，特密语李泌道：“元载不肯容卿，朕今令卿往江西，暂时安处。俟朕除载后，当有信报卿，卿可束装来京。”
李泌就以检校秘书少监、江南西道判官之职再次离开朝廷。
李泌已南下，元载益加专横，同平章事王缙，朋比为奸，贪风大炽。
元载有丈人从宣州来，向元载求官，元载遣往河北，但给一书。丈人不悦，走到幽州，拆信观看，见上面只有元载的署名，别无他话，非常生气，但只得持信去求见当地节度使。节度使见了元载所书，将老丈人迎到馆舍，加以款待，又赠送他绢帛千匹。
丈人已得了一注小财，乐得满载而归。这还因丈人不足任事，所以元载如此处置，若稍有才能，一经元载代为援引，无不立跻显宦。王缙在朝廷的威势，亦几乎与之相同。
元载妻子及王缙弟妹，皆倚势纳赂。
元载有主书卓英倩，性尤贪狡，得元载欢心，所以干禄求荣的士子，往往买嘱卓英倩，求他引进。
卓英倩竟得坐拥巨资，称富家翁。
成都司录李少良，上书给朝廷诋责元载，元载即讽令台官上奏弹劾李少良，将李少良召入监狱杖毙，连李少良友人韦颂，及殿中侍御史陆珽，一并坐罪处死。
唐代宗李豫被他挟制，很是感到懊怅，于是独下手敕，召浙西观察使李栖筠入朝，命为御史大夫。
李栖筠为人刚正不阿，受职后，即纠弹吏部侍郎徐浩、薛邕，及京兆尹杜济虚，欺君罔上，黩货卖官。
唐代宗皇帝李豫令礼部侍郎于劭复查此案，于劭颇加袒护，复奏时多涉模糊，复经李栖筠弹劾他同党，唐朝廷遂贬徐浩为明州别驾，薛邕为歙州刺史，杜济虚为杭州刺史，于劭为桂州长史。这四人统是元载党羽，一旦黜退，不少瞻徇，明明是抑夺元载之权。
元载尚未知改悔，且深恨李栖筠，常欲将他陷害。
李栖筠虽特邀主知，得肃风宪，但见唐代宗依违少断，元载凶狡多端，免不得忧愤交并，酿成重疾，居台未几，便即谢世。
李栖筠原籍本是赵人，自幼丧亲，气度高远，为人庄重寡言，体态轩昂、样貌卓异。喜爱读书，知识渊博，文思敏捷且简扼。又不随意交游。李栖筠的族子李华每每称其有王佐之才，士人也很仰慕他。
李栖筠最初住在汲县的共城山下，李华坚持请求他参加科举考试。在唐玄宗天宝七载（748年），李栖筠以高第中进士。之后被调授为冠氏县主簿，郡守李岘视他为布衣之交。
后来，李栖筠远赴安西都护府，进入安西节度使封常清的幕府，担任节度判官。
天宝十四载（755年），封常清被召回。临行前，封常清表请李栖筠暂摄监察御史，兼行军司马。
唐肃宗在灵武登基后，调安西军入关平叛，李栖筠亲自挑选精兵七千，统军回朝，被擢升为殿中侍御史。
长安被收复后，朝廷开始讨论如何处置接受叛军官职的陈希烈等数百人，时任三司使的李岘奉命参议，奏请李栖筠为详理判官。李栖筠推究这些人接受官职的原因，斟酌情理之间，悉心辅助李岘，最终使许多官员的性命得到保全。
此事之后，李栖筠声誉日隆，超过了朝臣吕諲、崔器。经多次升迁，他被授为吏部员外郎，判南曹事务。当时遭逢大乱之后，大盗后，铨选官吏的簿籍亡失，多有伪造冒名之事，李栖筠加以判析，条理分明，使小吏为之气衰，号称神明。后调任山南防御观察使。此时，李岘被罢相贬谪，李栖筠受此牵连，被改调为太子中允，迫于舆论压力，才重新授官河南县令。
唐代宗登基后屡欲召为宰辅，因为忌惮元载辄止，至而令李栖筠入任御史，不久即殁，