丞相见是回纥使臣，却不敢怠慢，一面派人招待，一面将贡送去。待鱼朝恩回府来，知此事，不觉大怒，拍桌：“天下事可不由我理乎！”

他如何不愿意。当时朝中禁兵，都归朝恩一人掌握，代宗怕元载一人势力不能相敌。元载奏：“陛下但以事专属臣，必有济。”

在中与同辈因细过争闹，为紫袍内给使所呵斥，在势，衣紫袍者为尊。令徽大愤，回家告诉朝恩。朝恩即携令徽朝，见代宗。奏：“臣儿令徽，官职大卑，屡受人欺，幸乞陛下赐以紫衣。”代宗还未及答言。

谁知这时有两个最称心腹的人，却已被元载用金钱买来了，却在朝恩府中，朝廷的探，原来朝恩自从位权重，便也自防范，每次府门。

在家中设着盛大的筵席，请二人饮酒乐。又暗暗地拿四千两银，去抚恤那四个盗坟贼的家属，也是不与小人结怨的意思。谁知鱼朝恩看看郭仪尚且如此惧怕他。

便与兵使王驾鹤，万年吏贾明观，养令徽，又有卫土长周皓，陕州节度使皇甫温，自己心腹共二十余人，聚集自己府中谋反。如何调集人，如何劫挟天，讲得井井有条。

朝廷百官，人人震惧朝恩的威力，谁也不敢说一个不字，那时朝恩养令徽，年只二十岁，代宗因他年纪尚幼，拜为内给使，衣绿袍。一日。

他的胆却愈是大起来了。一日，有回纥可汗，遣使臣来贡献礼，适值鱼朝恩与不空和尚养令徽三人，在郊外游猎，那外国使人，径至丞相府中纳。

忽见一内监，已捧着紫衣一袭，站立一旁候着。朝恩不待上命，即随向内监取来，递与令徽，嘱他将衣披在上，即伏地谢恩。

这元载原是朝恩的同党，只因代宗允许，升他爵位，便也顾不得朋友的情了。再说元载这人，也是有野心的，因鱼朝恩权势在自己上面，一时不得不低屈伏，如今有代宗皇帝撑他的胆。

宰相闻之，一齐俛首，合座失。次日，鱼朝恩奏，参革去二十个官员，尽把自己亲信的人，加封爵。

代宗看了，满肚气愤，但回念如今朝廷兵权，尽在鱼朝恩手中，一时也不好意思开罪他，只得忍着气笑：“儿服紫衣，谅可称心了！”朝恩父洋洋得意地退朝去。从此代宗衔恨在心，暗暗地除去朝恩的名位，召元载商议。

或朝见，旁总常随着武士一百人，由家将周皓统带着，称卫士长。又有那皇甫温，他二人得了元载的钱财，便暗暗地谋取鱼朝恩的命。当时在朝恩府中窃听得计谋来，急去元载府中报信。

但此时元载、鱼朝恩二人的势焰，炙手可，便是郭仪，也不敢去在老虎上抓。当即人朝去谢过圣恩，退朝来，又去一一拜访元载、鱼朝恩二人。

朝恩听了大惧，从此见了元载，却十分恭敬。日久，见代宗待遇隆厚，礼不稍衰。朝恩疑希暹的消息不确，希暹力劝朝恩须先发制人，速为之备。朝恩仗着手下有六千禁兵，又有刘希暹十分骁勇。

君臣二人议毕，退来，当有神策都虞侯刘希暹，是鱼朝恩的心腹，他在中，打听得消息，挨到半夜人静，便偷偷地到朝恩府中来告密。说：“万岁已有密诏与元载，令图相公。”

当夜，鱼朝恩便召集自己一班心腹，如元载辈，在府中密议。令徽当即献计：“明公正可乘此易执政，以震朝廷而张明公之威。”鱼朝恩称是。次日，便大会百官于都堂，有六宰相在座。

朝恩大声呵着宰相说：“宰相者，和元气，辑群生。今早不时，屯军数十万，馈运困竭，天卧不安席，宰相何以辅之？不退避贤路，默默尚可赖乎？”