代宗知道后，自揣自己的懦弱性格早就被元载胁制住了，因浙西观察史李栖筠是个忠义刚直之臣，就暗下手诏传李栖筠进京，拜为御史大夫。李栖筠受职后，不多日子就查出了吏部侍郎徐浩、薛邕和京兆尹杜济虚、礼部侍郎于劭四人都是元载党羽，然后一本参折让这四人一齐罢了官。元载恨李栖筠入骨，不多几天，李栖筠就在家中一点也没有让世人意外地中毒而亡。从此元载更加肆无忌惮，事事骄横，常常自夸其文武之才，古今人莫能及。言外之意，就是当今的代宗皇帝也不如他。
这一天，左金吾大将军章敬吴皇太后的胞弟吴溱入宫来，见万岁爷愁眉不展，觑着左右无人，就低声奏道：“如今陛下心腹大患只元载一人，陛下是否因此人劳心？”
代宗知他平日忠心为国，且两人还有甥舅之亲，当即长叹一声说道：“朝事荒堕，全是朕一人之过；元载之敢于大胆妄为，也是因为朕平日纵任所致。今欲除之，已经太难了！可不除又不行……”
然后君臣二人在宫中密议，直到更深。第二天，吴将军在家中悄悄地召集吏部尚书刘晏、御史大夫李涵、散骑常侍萧昕、礼部侍郎常兖，可怜这时朝官中不是元相心腹的算得上正直的大臣只有这五六人了。大家正在吴将军府中南书斋里商议大事，忽然一个壮士直闯进屋中，众人大惊，十几道眼光一齐注定在那个壮士身上。只见那个壮士黑纱罩住脸面，直立在当门，一言不发。