武后袒护情郎张昌宗，以莫须有的罪名把魏元忠贬谪出京，朝中文武大为不满。由狄仁杰向武后推荐的侍郎大臣以及其他大臣都紧密联系起来。人心激愤，对武后反感日甚，与来俊臣当权时大不相同了。有人把张昌宗兄弟等男娼的名字在街上粘贴，把他们和武后的秽闻编作山歌小曲唱，茶馆酒肆中把张氏兄弟的名字改用作一些新制的精巧小吃的名字，把那些小吃当作茶食卖，或与西瓜子同吃。二张的名字之令人发笑，之污秽不堪，完全和当年疯和尚冯小宝的名字一样。武后对这种情形觉得很难堪。她觉得她的爪牙现在都没有用了。张昌宗的弟弟张昌期现在已富得惊人，身居巨府大第。张氏兄弟越富有，野心越大，越惹国人痛恨。一个匿名的人夜间在张昌期的府第大门上写道：“看你横行到几时？”第二天早晨擦去之后，第二天夜里又照样写上，一直写了六七天，总是一句：“看你横行到几时？”张昌期不耐烦了，拿笔在门上写道：“为欢一日心已足！”
现在群臣要诛除张氏二小与逼迫武后传位中宗两件事，已经合而为一。由以张柬之为首的十五人暗中进行，将计划密而不泄，外人无从知晓。十五人都是狄仁杰荐给武后任用的，其领袖人物为宰相张柬之，左御林卫将军敬晖，检校左御林卫将军桓彦范，司刑少卿袁恕己，凤阁侍郎崔玄。对张氏兄弟抱有反感的还有不少官员，他们并不知道张柬之等暗中进行的计划，但是也切望诛除武后身畔的奸佞。所以大势所趋，张柬之等的谋划极易获得朝中各官员的支持，造成政变最有利的气氛。
控鹤府纵然秽气熏天，只要不越出武后的私室之外，大臣们也可以忍耐不问。可是张氏群小的势力日渐猖獗，阴谋可虑。大臣们准备反击，一心一德，团结坚固，想在国法上向张昌宗找破绽。张柬之这时除暗中与心腹密谋之外，对外人一言未发。
多年以前，张柬之曾与挚友杨元琰立誓恢复唐室，扫除武后（见第三十七章）。所以张柬之官居高位之后，第一件事就是任杨元琰为右御林将军。
张柬之说：“使君身当此任，并非无故。月夜江上之言当未忘怀，愿共勉力。”
杨元琰心里明白。姚崇也是狄仁杰荐任的，是张柬之一圈内的重要人物。张柬之之得任宰相，是姚崇向武后力荐的。
情势日趋危急。魏元忠之被谪是在武后长安三年。长安四年，武后就老病缠绵，与宠臣张氏二小连月在房中鬼混。宰相也不能入见。二张心中忧虑。武后驾崩之后，他俩如何是好？武后已经八十一岁。最好的雄獭补肾丸与其他返老还童剂也阻止不住岁月的消逝，她与张氏兄弟的淫荡生活也增进不了她的健康。张氏兄弟一看自己树敌已众，四面楚歌，于是竭力巩固权位，以求对抗。通衢大街上已出现招贴，说二张正图谋不轨，想篡夺皇位。在当年七月，大臣们发现张昌宗霸占农民田地，于是想绳之以法。张柬之任他们放手做去，因为依法控告张氏兄弟，他俩的名声将越发低落，亦必加甚国人对他俩的愤恨，武后也更难以自处。张氏兄弟身受国法自然是好，如果要像魏元忠的案子一样徇情枉法，国人闻知，与武后与张氏兄弟更不利。不论落到什么地步，对张柬之不会有害。
依照国法，为官者霸占农民田地，当罚钱免官。几个侍御史奏明张昌宗应当削去官爵。武后觉察出这件事情的政治意味。她的宠幸小人为人厌恨，她知道。可是她觉察出来，群臣向张昌宗进攻就是向自己挑战，分明是向她一步步逼近了。
在建议之时，武后说：“我知道你们对张昌宗不满。我想是张昌宗手下人抢了农民的田地。不管怎么样，张昌宗对君有功，看在以往，让他保持官位吧。”
宋璟问道：“他有什么功劳？”
武后向张昌宗的心腹小人宰相内史令杨再思问道：
“你说他有什么功劳？”
杨再思回奏道：“昌宗为陛下治丹药，服后得享上寿，可算有功。”（左补阙戴合言曾赋两脚狐讽刺杨再思。）
杨再思话说得十分郑重。群臣皆窃笑。
武后道：“不错，昌宗官居原职好了。”各大臣不服。鸾台侍郎韦安石与另外大臣正式上本弹劾张昌宗，武后指派两个大理寺卿审理。武后一看两个大理寺卿竟认真办起来，立刻运用手脚把韦安石和另外那个大理寺卿调开京都，弹劾案便搁置起来。
十二月，张昌宗被控罪行严重，因为他引星相家李鸿泰观吉凶，看能否有帝王之命。蓍草显示纯阳之象，表示张昌宗有帝王之命。星相家这样告诉他，并且劝他在定州兴建一座庙祈求福运。星相家李鸿泰被捕获。审问之时，他说蓍草的确出现纯阳之象，并确言与张昌宗会见时谈论张昌宗的帝王命运。案子正式奏与武后。张昌宗也立即上书武后，把李鸿泰的话奏明。这样一来，张昌宗便可以先已自行奏明自解了。这是他自行辩护的方法。他并且设法请武后指定他自己心腹那两个大理寺卿审问。两个大理寺卿把判决书奏呈武后，上书说张昌宗确属犯罪，不过他已经先行奏明，并未隐瞒，罪应当赦免。
左台御史中丞宋璟不肯退让。他认为张昌宗谋反之意彰彰明甚，他向武后上本，为什么张昌宗不早奏明武后，要到案发之后才奏闻？他请逮捕张昌宗交他审问。
武后不悦，把宋璟的奏本搁置起来。宋璟又上本。他说：“此种大逆罪行如不究治，何以塞国人之口？”
武后仍想拖延。她说：
“这件案子要郑重办理。等一等。我要亲自阅卷。”
武后不想把情郎牺牲掉。群臣要食其肉而寝其皮，她知道。宋璟顽强不屈像个骡子，和魏元忠一样。武后命令宋璟往扬州去调查一宗案件，这和以前调开韦安石的手段是一样的。可是宋璟以京都官职重要，拒不肯往。武后又下诏命他往幽州，他仍不肯去。他对武后说：
“臣有职在京，无法受君命。依法御史中丞无大事不外使，如调查案件，亦必案件中涉及品级较高之地方官员，如属品级较低者，亦必为监考御史。今无大事，臣不能前往。”
这件事又悬而不决。武后不肯把张昌宗交出，张昌宗在宫中，自然平安无事。大臣等纷纷上本力争。桓彦范奏道：“张昌宗已两犯国法，至今逍遥法外。请付三司考治。如不绳之以法，何不释放天下囚犯？此案有关国家法统，岂可轻忽。”
御史台既无法鞫讯被告，即依据算命者之供词与张昌宗向武后呈递的自白书判案，结果判决张昌宗为逆臣，依法当诛。手持御史台之判决书，宋璟又进宫见武后，请武后将被告张昌宗交出。
宋璟奏道：“这是侍御史的判决，请陛下将被告交出审问。”武后道：“他已先向我陈明，可见他并非不忠。”
宋璟道：“他向陛下陈明系在案件到御史台之后。如果案子不到御史台，他一定还缄口不言。这也不是一经招认便可赦免的罪。并且招认并不是自甘情愿的。如果陛下宠臣身犯国法而独赦免，国法之尊严势将扫地无存矣。”
武后要安抚宋璟，心想可以劝服这位御史大夫将张昌宗放过。于是对宋璟说：
“你再思索一下好吗？”
宋璟道：“臣知已开罪陛下。然激于大义，虽死不悔。”
在君臣僵持之下，两脚狐宰相杨再思存心偏袒武后，他说：“让陛下明断好了。你下去吧。”
武后真是左右为难。过于分明蔑视国法她也不愿意。她唯一的一条妙计就是重新玩当年救大方丈冯小宝的把戏。
武后把张昌宗派往御史台去了。宋璟一看大功已成，于是进行审问。还没问几句，武后派来了一个特使，持有上谕，把张昌宗立即召回皇宫去了。
宋璟低声说道：“糟了！悔不该不一见面就把此贼鞭死。又放他走了！”
这是又一次正义扫地。由于老淫妇荒淫无耻，任情枉法，又使淫贼逃出法网。老淫妇之玩忽国法纵容奸恶已昭然若揭。张氏兄弟为恶之多已死有余辜，而今日仍在武后卵翼下为非作歹，在人世享受荣华富贵，而多少忠直刚正的大臣却因为莫须有的罪名惨死于地下了。
大臣已忍无可忍。张氏兄弟必须铲除，不论什么方法，有效就好。张柬之要动手了。