武后杀害孙子孙女和武延基并不能停止人们的纷纷议论，人们谈论得反而越发厉害。武后越荒淫，反对武后的力量越强大。朝中大臣现在都一齐反对张氏兄弟。张氏兄弟的堂兄弟等妄自尊大，在京都之中为非作歹，到处滋事，一如十年前疯和尚冯小宝一样。不过，只要张氏兄弟这些武后宠幸的小人在武后的后宫活动，大臣们也就不闻不问。可是张昌宗与另外两个兄弟昌仪与同休却野心越来越大，竟然干涉起朝政来。朝中儒臣目睹小人当道，以为是奇耻大辱。通衢大街之上，已经有人在墙上粘贴反对控鹤府中五郎六郎的文字。
宫廷中的丑闻散播各地，茶馆酒肆之中一传十，十传百，传播之快胜似驿马使之传递圣旨。后来《鹤府秘史》竟成了一本野史的名字。魏元忠为人刚直严正（见第三十七章），疾恶如仇。有一次张昌宗的家仆滋事被捕，魏元忠当时官居御史大夫，下令将张昌宗的家仆当众鞭挞。张昌宗有一弟昌期在魏元忠下为辅，指使百姓犯法，因为易之昌宗有权有势，昌期任意胡为，无所忌惮。魏元忠在昌期的属员面前，把昌期斥责一番，并且阻挡昌期另调一个肥缺。元忠向武后上奏折称：“臣承先帝之顾，且受陛下厚恩，不能徇忠，使小人在君侧，臣之罪也。”所称“小人”显然指张氏兄弟。
如今两党的仇恨是公然显露了。魏元忠只是一心想扫除朝廷的淫邪。他并不是张柬之与姚崇的内围人物。张昌宗先动了手。他在武后面前控告魏元忠，说魏元忠曾说武后年老，群臣应当迎庐陵王复位。这种控告当然招武后愤怒。还政权与儿子？她只要在世一天，庐陵王休想！
在武后与群小及魏元忠与支持他的那些忠臣之间，这件事成了一场重大的政争。武后认为这个控告很严重，指定大臣开庭审问，庐陵王（哲）及睿宗（旦）都奉命到场。魏元忠将被审问，自行辩护。
张昌宗曾引诱凤阁舍人张说证明曾听见魏元忠说过拥立庐陵王。张说那时官居五品，张昌宗曾答应帮忙使张说升官。张说为人聪慧，答应照办。
各大臣已会集在前厅之中，就要进入正厅了。御史中丞宋璟为人性情暴烈，这时他向张说说道：
“你若助桀为恶，陷害忠良，那太可悲。你有什么可怕呢？怕姓张的那两个巾帼妇人吗？这是我们的一场政争，为了我们大家，堂堂正正地和他争，自有天下公论支持我们。我先支持你，跟那些妇人相争，即使遭受贬谪也光荣。怕什么！”当时有些儒臣在场，史学家刘知几也在。
刘知几说：“死有重于泰山，有轻于鸿毛。你善自选择吧。”别人也劝他要反对张昌宗。张说一看大家无不反对张昌宗，不管答应没答应张昌宗，现在决定与大家合作。
魏元忠现在走进来，一脸怒气。一见张说，他说：“你来反对我魏元忠，好畜生！”魏元忠一向是个奇人。
张说道：“大人何以说这种话！请相信下官，不必怀疑。”
钟声响了，话不能再说下去。大臣们鱼贯而入。
这场博学儒臣与那些无知小人之争真是有趣。武后开始问张说听见魏元忠说过什么。张说正想回答。张昌宗暗示他道：
“好，说吧！”
张说道：“回奏陛下。在陛下面前，张昌宗实在逼迫臣说他要我说的话。他在外面所作所为陛下也可想象得到了。如今在两位殿下和各位大臣之前，臣要郑重言明：臣从来没有听见侍中大人说过要拥立庐陵王反对陛下的话。那是张昌宗要臣说的。臣敢说，那种话纯系捏造，并非事实。”
张昌宗一听，不胜惊愕，不知说什么好，大怒之下，脱口而出：“张说与魏元忠本是一党，同谋造反！”
武后说：“这种控告非同儿戏，如无证据，不可乱说。”
“我有证据。”
“什么证据？”
“有一次我听见张说向魏元忠说魏元忠是周公，或者是应当作周公。”
各大臣一听松了心，不禁哑然失笑。因为周公是圣人，是孔夫子心目中的古今完人。张昌宗本意是说魏元忠怀有野心，想做权位显赫的周公。其实周公辅成王，忠心为国，向无不臣之心，为历史上之圣人。如以人比周公，乃是表示致敬之意。
张说回答道：“张昌宗不熟读经史，真是憾事。魏大人回朝之后，臣前往致贺。以周公之尽瘁国家相勉。为大臣者不以周公为法还当效法何人呢？”
全庭大笑。张昌宗局促不安，向武后耳畔低声说了几句话。武后大怒道：“张说，你这个朝秦暮楚的小人！”于是令人将魏元忠及张说带出，改期再审。
次日，再行审问，张说供词毫无改变。现在各大臣及王公须要共同审问张说。武后的侄子武懿宗也参与审判。
魏元忠的案子成了公众关心的问题。各大臣都极力支援他。魏元忠永远是一个风波中的人物。他前次遭武后赦还重予重用时，黎民百姓大喜，盛赞武后有知人之明。如今很多大臣向武后上本，其中也有桓彦范（桓为狄仁杰向武后保荐的），各大臣一齐向武后以生命保证魏元忠的忠贞。
可是，枕边的一声低语胜过公庭上的一场雄辩。武后一向喜爱魏元忠，如今依然未变。可是不能教她的宠臣失去面子。不管魏元忠有罪无罪，她又把他贬谪出京。
魏元忠来向武后辞行。他向武后说：“臣已年迈，此番离京，恐已不能生还得见陛下。请陛下听臣忠言。将来总有一日陛下想起魏元忠，想起魏元忠的话来。”
武后蔼然问道：“为什么呢？”
这时张易之张昌宗都在殿中，魏元忠即手指二张说：“将来使陛下蒙害的必是此二小子。”
说罢向武后告别而去。
魏元忠去后，武后很感伤，说道：“元忠走了！”
但是这件事并未完结。这件事有失公正。魏元忠是以莫须有的罪名被贬出京的，只是冲撞了武后的宠臣罢了。当年朝臣被谪离京时朋友们总是在城外饯行。魏元忠出京之时，八个朋友为他饯行。张昌宗捏造了一个“蔡明”的名字上书向武后告密，说魏元忠离开京都之日，与八个朋友在京都城外一同谋反。
那几个朋友都是官卑职小，武后指定一个大理寺卿审问那八人。并派一个官员去吩咐那个大理寺卿说：“陛下说这是一件小案子。审问一下回奏就好了。”
可是那位大理寺卿怀素并不以为这是件小案子。他不肯站在要谋害魏元忠的那一边，而且他对魏元忠是非常敬重的。因为张昌宗对那八人控告的罪状如果成立，魏元忠很容易在外遇害，无人能够援救。武后，也许是张昌宗又传话来：“事实很明显，何以延迟如此之久。陛下已经不耐烦了。”
怀素不得已，去见武后。怀素无法找出原告“蔡明”是谁，也无法知道他的职位。
武后说：“我也不知道‘蔡明’是谁。有这封信还不够吗？”
怀素回答道：“回陛下：如不得原告审问，臣无法定案。”
武后说：“根据信里的话判就可以。不必问原告了。”
怀素说：“臣不能以一张纸为证据。因为也许根本就没有‘蔡明’这个人。没有原告，没有证据，臣不能判案。一封无名信是不足为凭的。”
武后说：“那么你就放任被告叛国贼们逍遥法外吗？”
怀素道：“臣岂敢！只是魏元忠为陛下大臣。他离京之时，朋友们显然是为他饯行。臣良心上不相信魏元忠叛国。陛下如欲将他置之死地，陛下自有此种权柄。只要下一道圣旨就行了。如果陛下要命臣以大理寺卿之职判他有罪，臣不依法律是无法判案的。”
武后问：“你意思是说依照法律他们无罪，应当释放吗？”
怀素奏道：“回陛下：臣愚钝，实在看不出那八人身犯何罪。”
如今事实很明显，武后即便要判这位大理寺卿有罪也颇为棘手。她只好把这件案子搁置下去，以其他方法向张昌宗施以恩宠，安慰他一番便了。
魏元忠这是第三次被谪，将来还要再被重用，比以前更蒙恩眷，更受尊崇。