专擅朝政二十年的严嵩，一向无所顾忌，此时感觉到失宠于皇帝，危机感隐约袭来，不免有点担忧。特地在家中设宴，向徐阶求饶。他命儿子严世蕃向徐阶跪拜，自己举起酒杯说道：“嵩旦夕死矣，此曹（指严世蕃）唯公哺乳。”徐阶佯装惊讶，连声说：“不敢当。”
此时的徐阶，正在密谋策划，如何潜移帝意，扳倒严嵩。为此，他使出两个绝招。
第一招是，利用皇帝笃信道教的弱点，收买他身边的道士蓝道行，在扶乩时，假借神仙之口，攻击严嵩，取得出奇制胜的效果，促使皇帝“幡然悔悟”。唐鹤徵《皇明辅世编》描述这一情节，很是生动有趣。
某一天，皇帝向蓝道行提问，蓝道行扶乩，请神仙回答。人神之间的对话如下：
皇帝问：今日天下为何不能治理？
神仙答：原因在于，贤能者不能进用，不肖者不能屏退。
皇帝问：谁是贤能者，谁是不肖者？
神仙回答：贤能者是内阁辅臣徐阶、吏部尚书杨博，不肖者是严嵩父子。
皇帝说：我也知道严嵩父子贪赃枉法，念及他们奉承玄修多年，姑且容忍。他们果真是不肖之徒，上天真君为何不震怒，予以惩罚？
神仙回答：严世蕃恶贯满盈，应该迅速严惩，因为他在京城，上天恐怕震惊皇帝。如果把他发配到外地，便可以让他粉身碎骨。
听了神仙的点拨，皇帝幡然悔悟，决心抛弃宠信了二十年的奸臣。扶乩完毕后，蓝道行马上把这一机密情报告诉徐阶。徐阶唯恐皇帝反悔，立即采取第二招，指示御史邹应龙弹劾严嵩父子。
《皇明辅世编》，民国排印本
关于邹应龙弹劾严氏父子之事，史家有另一种说法。话说嘉靖四十一年五月的某一天，御史邹应龙下朝时，在太监房间里躲雨。太监透露了道士蓝道行扶乩的信息，邹应龙得知“帝眷已移”，以为奇货可居，唯恐别人抢了头功，连夜起草弹劾严嵩父子的奏疏，次日上朝时，递了上去，果然导致严嵩罢官。于是乎有人把邹应龙赞誉为扳倒严嵩的英雄。
此言差矣！从邹应龙上疏以后，畏首畏尾的表现来看，如果没有强有力的后台支撑，他绝对不敢冒险行事。其实，他是受徐阶指使，才弹劾严氏父子的。万斯同的说法比较符合事实：“（徐）阶为人阴重，有权略，初事（严）嵩甚恭谨。及是，知帝闻嵩贪，及世蕃奸恣状，乃授意御史邹应龙劾之。”明确指出，邹应龙弹劾严嵩父子是徐阶授意的。不过邹应龙的这篇《贪横荫臣欺君蠹国疏》写得相当出色。
一则说：“工部侍郎严世蕃凭借父势，专利无厌，私擅爵赏，广致赂遗。每一开选，则某官银若干，某官银若干。至于升迁也亦然，某缺银若干，某缺银若干。以致选法大坏，市道公行，群丑竞趋，索价转巨。”
再则说：“不特此也，每遇岁时及父子生日，中外各官俱有馈赠。遂为定例，略不见疑。然则世蕃父子所蓄，可胜记哉？”
三则说：“今天下水旱频仍，南北多警，民穷财尽，莫可措手者，正由世蕃父子贪婪无度，掊克日棘，政以贿成，官以赂授。凡四方大小之吏，莫不竭民脂膏，剥民皮骨如此则民安得不贫、国安得不竭、天人灾警安得不迭至也？”
结论是：“臣请斩世蕃首，悬之高竿，以为人臣凶横不忠之戒。其父嵩受国厚恩，不思图报，而溺爱恶子，播弄利权，植党蔽贤，黩货败法，亦宜亟令休退，以清政本。”
皇帝把这份奏疏与蓝道行的扶乩联系起来，下达圣旨，谴责严嵩“纵爱悖逆丑子，全不管教，言是听，计是行”，勒令致仕（退休），严世蕃及其亲信罗龙文等人，流放边远地区。
不久，皇帝有些反悔，多年积累的感情一时难以割舍，每每想起严嵩“赞修之功”，若有所失，闷闷不乐。写了一道手谕给继任首辅徐阶：“嵩已退，其子已伏辜，敢再言者，并（邹）应龙斩之。”吓得邹应龙不敢去出任新职——通政司参议，还是徐阶多方转圜以后，邹应龙才惴惴不安地前去赴任。
管辖分宜县的袁州知府了解到这一动向，添油加醋地夸张严府“聚众练兵谋反”，通报给巡江御史林润。林润先前曾经弹劾严氏父子的党羽鄢懋卿，担心严世蕃如果东山再起，可能遭到报复，立即把这一情况上报朝廷。揭发罗龙文“卜筑山中，乘轩衣蟒，有负险不臣之志”；揭发严世蕃“自罪谪之后，愈肆凶顽，日夜与龙文诽谤时政，动摇人心。近者假治第，而聚众至四千余人，道路汹汹，咸谓变且不测”。所谓“负险不臣”“变且不测”云云，就是谋反的委婉表达。林润与邹应龙的切入点截然不同，邹强调的是贪赃，林强调的是谋反，必欲置严世蕃于死地。
皇帝对于严氏父子本来就不想继续追究，严世蕃流放途中擅自逃回，皇帝也睁一眼闭一眼。作为一国之君，皇帝可以容忍贪赃，但绝对不能容忍谋反，接到林润的报告，马上下旨，逮捕严世蕃、罗龙文来京审问。
林润趁热打铁，写了长篇奏疏《申逆罪正典刑以彰天讨疏》，揭发严世蕃、罗龙文图谋犯上作乱的罪状。这篇奏疏收入陈子龙《皇明经世文编》、张岱《石匮书》，很值得一看。
奏疏劈头就说：“（严）世蕃罪恶滔天，积非一日。近时不法之事又非一端，任彭孔为主谋，罗龙文为羽翼，恶男严鹄等家人、严轸二等为爪牙，穷凶极恶，无所不至。”
又说严府在袁州俨然独立王国，一派帝王气象：“廊房回绕万间，店舍环亘数里。招四方之亡命为护卫之壮丁，森然分封之仪度也”；“闾阎膏脂剥削殆尽，民穷盗起而夸于众曰：朝廷有我富乎？”“朝歌而夜弦，左斟而右舞，荒淫无度，訏蔑纲常，而夸于众曰：朝廷有我乐乎？”
继而又说：严世蕃谋反之心已经暴露无遗，正德年间宸濠之乱就是前车之鉴：“丁已逾二千，纳亡叛更倍其数，精悍皆在其中，妖妄尽藏于内。旦则伐鼓而聚，暮则鸣金而解”；“窃思宸濠逆谋之初，亦不过结纳贼首，诱致人受献田土。今世蕃不法与逆（宸）濠无异，且包藏祸心已著”。
最后指出，严世蕃的滔天罪行，严嵩也脱不了干系：“严嵩宠冠百僚，公然欺主。世蕃问发雷州，并未赴伍，仅居南雄三月而返。（严）嵩乃朦胧近乡，既奉明旨，复留在家，以王言为不足恤，以国法为不足尊，惟知私恩，不知公议，兹非（严）嵩之欺陛下乎！”
严世蕃却有恃无恐。他听说言官想通过治他的罪，为先前弹劾严氏父子而惨遭杀害的沈炼、杨继盛平反，便和京中的严党分子密谋策划如何翻盘，洋洋得意地拍掌说：“任他燎原火，自有倒海水。”
什么是“倒海水”？据他自己说：“贿之一字自不可掩，然非皇上所深恶必杀，惟杨椒山（杨继盛）、沈青霞（沈炼）之狱，皇上最内忌，填入必激圣怒。至于聚众、通倭之说，直以言官谩语，讽使削去，便可脱身。”于是党羽们立即放出风声，扬言如此如此，一则杨继盛、沈炼之冤可以昭雪，一则抚慰士大夫愤懑，不平之情可以得名。倘若牵扯所无之事，人臣既不信，皇上亦生疑。与此同时，他们四出活动，贿赂三法司官员，在定案文书上写明为沈炼、杨继盛平反昭雪的字句。
这是一个很难觉察的阴谋，目的是“激圣怒”。因为对于沈炼、杨继盛的惩处，是皇帝亲自决定的，为沈、杨翻案，就等于要皇帝承认错误，肯定会激怒刚愎自用的皇帝，严世蕃预想的“脱身”目的就达到了。
审理此案的刑部尚书黄光昇、都察院左都御史张永明、大理寺卿张守直，或许是接受了贿赂，或许以为抚慰士大夫愤懑之情很有必要，在定案文书中写入了为沈炼、杨继盛平反昭雪的字句，请内阁首辅徐阶定夺。
精明过人的徐阶一眼就看出问题，识破了严世蕃的阴谋，要害是“彰上过”（彰显皇上的过错）。一面说“法家断案良佳”，一面把黄光昇、张永明、张守直引入内室，屏退左右随从，轻声密谈。据《石匮书·林润列传》记载，密谈实况如下：
徐阶问：“诸君子谓严公子当生乎死乎？”
黄光昇等回答：“死不足赎罪。”
徐阶又问：“此案将杀之乎生之乎？”
黄光昇等回答：“用杨、沈，正欲抵死。”
徐阶笑道：“别自有说。杨、沈事诚出其谋，诚犯天下万世公恶。然杨（继盛）以计枢上所讳，取特旨；沈（炼）暗入招中，取泛旨。上英明，岂肯自引为己过？一入览，疑法司借严氏归过于上，必震怒。在事者皆不免，严公子平平打发出国门矣。赦出固善，抑法司不能辞责，我亦何以自解？我不足惜，诸公方负物望，擢居要地，旦夕冢宰。此举又众所瞻仰，如斯而已乎？”
黄光昇等人听了愕然，请求拿回文书另议。
徐阶说：“离此一步，迟此一刻，泄此一语，从中搅扰者必多，事且有变。今当以原疏为主，而阐发聚众本谋，以试上意。依次须大司寇（刑部尚书）执笔。”
黄光昇赶紧推辞：“谢不敢当。天下事惟相公能测。”
徐阶也不谦让，从袖中拿出早已写好的文书，说：“拟议久矣，诸公以为如何？”
众人看了唯唯诺诺。
徐阶草拟的定案文书，基调是严世蕃与罗龙文通倭通虏，聚众谋反。其中最重要的一段写道：“陛下曲赦其死，谪充雷州卫军。不思引咎感恩，乃怏怀怨望，安居分宜，足迹不一之戍所。龙文亦自浔州卫逃归，相与谩言诅咒，搆煽狂谋，招集四方亡命奸盗，及一切妖言幻术天文左道之徒，至四千余人，以治宅为名，阴延谙晓兵法之人，训习操练。厚结刺客十余人，专令报仇杀人，慑制众口。至于蓄养奸人细作，无虑数百，出入京城，往来通路，络绎不绝。龙文亦招集汪直通倭余党五百余人，谋与世蕃外投日本。其先所发遣世蕃班头牛信，径自山海卫弃伍北走，拟诱致北虏，南北响应。”既然三法司首长没有异议，徐阶立即叫书吏誊写，加盖三法司印章密封，呈送皇帝。
严世蕃罪大恶极，不杀不足以平民愤。平心而论，把“谋反”“通倭”“通虏”的罪状强加于他，是用诬陷不实之词掩盖真正的罪状。原本应该用专擅朝政、贪赃枉法、卖官鬻爵、中饱私囊来定罪，那样的话，必然导致“彰上过”，激怒皇帝。用捏造的罪状来定案，显然是在耍弄阴谋诡计，但是避开了“彰上过”的风险，皇帝平静地接受了，立即批示：此逆情非常，仅凭林润奏疏，何以昭示天下后世！刑部、都察院、大理寺，会同锦衣卫，从公审讯，具实以闻。
徐阶和三法司首长再度耍弄手段，根本没有核实，径直由徐阶代替三法司起草核实奏疏，用肯定的语气回答皇帝：事已勘实，其交通倭虏，潜谋叛逆，具有显证。请亟正典刑，以泄神人之愤。
嘉靖四十四年三月二十四日，皇帝下达圣旨：既会同得实，严世蕃、罗龙文即特处斩。
严、罗二人得到消息，大失所望，抱头痛哭。家人要他们写遗书，竟然不能成一字。
《留青日札》
﹝明﹞田艺蘅著
朱碧莲点校
上海古籍出版社1992年版
《天水冰山录》
（附钤山堂书画记）
知不足斋线装本
严嵩、严世蕃父子恶贯满盈，罪有应得，留给人们深思的是，以往多年义正辞严的弹劾，为何始终不能奏效，而充满阴谋和权术的做法却取得了成功？扳倒严嵩父子，毫无疑问是正义的，但是手段与程序并不正义。几年后，史官在编纂《明世宗实录》时，对此表示了异议：严世蕃凭借父亲的威势，盗弄威福，浊乱朝政，完全可以用“奸党”罪处死，偏偏要说“谋逆”，显然“悉非正法”。所谓“悉非正法”，就是没有以事实为依据，以法律为准绳。
对于嘉靖皇帝而言，严氏父子的下场，有损于他的英明。徐阶曲为开脱，维护了皇上的威权。李绍文《皇明世说新语》写道：“世庙（嘉靖皇帝）谕徐文贞（徐阶）曰：‘君知人惟尧舜与我太祖耳。若（严）嵩者朕所自简，不才若此！’（徐）阶曰：‘尧用四凶，后加放殛。太祖用胡惟庸，后以罪诛。皇上始知嵩之才而用之，后因听子贪纵而斥谴，皆无损于明。’”徐阶既扳倒了严氏父子，又无损于皇帝的颜面，这种两面光的手腕，显示了他的“权略”与“阴重”。
天下翕然想望风采
徐阶升任内阁首辅，在直庐朝房（内阁办公室）的墙壁上挂了条幅，写了三句话：
以威福还主上
以政务还诸司
以用舍刑赏还公论
这是他的施政纲领，宣示拨乱反正的决心，竭力把紊乱的朝政引入正轨。把威权和福祉归还皇帝，把政务归还政府各部门，把官员的任免和奖惩归还公众舆论。意图是很明显的，向朝廷上下表明，决不成为严嵩第二，一定要反其道而行之，改变严氏父子专擅朝政的局面。同时代人唐鹤徵对此给予高度评价：“（徐）阶尽反（严）嵩政，务收人心，用物望严杜筐篚，天下翕然想望风采。”唐鹤徵从几个方面来论证他的观点。
其一，徐阶与严嵩共事，下级官员馈赠贿赂，虽然没有严嵩那么多，数量也不少，他都照单全收。他向别人解释其中原委：如果拒绝，恐怕以自己的高洁反衬出严嵩的污秽。日子一长，人们也就不再非议了。
其二，他成为内阁首辅以后，改变严嵩的专断独裁，邀请内阁次辅袁炜一起办公，共同为皇帝票拟谕旨。皇帝知道了，以为不妥，只需首辅一人票拟即可。徐阶解释道：事情出于众人合议比较公正，而公正是所有美德的基础；独断专行就是自私，而自私会导致百弊丛生。
其三，言官极力抨击勾结严氏父子的大臣，皇帝对此很反感。徐阶委婉地讲明道理，缓解了他的怨气，保护了言官。
其四，皇帝和徐阶谈起人才难得，徐阶侃侃而谈：自古以来常言道，“大奸似忠，大诈似信”（最大的奸佞貌似忠诚，最大的欺诈貌似诚信），能够知人善任，便是哲人。因此当皇帝最困难，要想把困难转化为容易，只有广泛听取意见一个途径。广泛听取意见，就等于有人为我化解穷凶极恶，为我揭发隐匿的实情。
可见徐阶对于治国、用人，是很有想法的。但是皇帝依然痴迷于玄修，局面难以改变。正如黄仁宇《万历十五年》所说：“严嵩去职虽已三年，但人们对嘉靖的批评依然是‘心惑’、‘苛断’和‘情偏’。然而他对这些意见置若罔闻，明明是为谀臣所蒙蔽，他还自以为圣明如同尧舜。”
《万历十五年》
黄仁宇
生活·读书·新知三联书店
2015年版
嘉靖四十五年，刚直不阿的海瑞，向皇帝上《治安疏》，以无所顾忌的姿态，锋芒毕露的文字，批评皇帝清虚学道，潜心修醮，以至于二十多年不上朝理政，导致纲纪废弛，吏治败坏，民不聊生。“天下因陛下改元之号，而臆之曰：‘嘉靖者，言家家皆净而无财用也。’”他指出：臣民不对陛下讲真话已经很久了，官员们“愧心馁气以从陛下”，“昧没本心以歌颂陛下”，陛下一意玄修，导致“心惑”，过于“苛断”导致“情偏”。大臣为了俸禄而阿谀奉承，小臣由于畏罪而唯唯诺诺。为此，冒死进谏，希望陛下“幡然悔悟”，洗刷“君道之误”。
如此不留情面的批评，自视甚高的皇帝无法接受——此公自比尧舜，书斋也以“尧”字命名，海瑞却说他连汉文帝都不如，气得他浑身发抖，狠狠地把奏疏摔到地上。过了一会，又把它捡起来，要看看后面还写些什么。阅毕，勃然震怒，命令身边的太监黄锦：把海瑞抓起来，不要让他跑了！黄锦告诉他：海瑞自知触怒皇上必死无疑，所以诀别妻子，抬了棺材来上朝，不会逃跑的。还说：看他的为人，刚直有声，为官不取一丝一粟。听了这话，皇帝平静下来，再三阅读奏疏，叹息道：真是忠臣，可以和比干相媲美，但朕并非殷纣王。随即给内阁首辅徐阶写了密谕：“今人心恨不新其政，此物可见也，他说的都是。”一向听不得批评的此公，居然破例承认海瑞“说的都是”。这不过是私底下的坦言，只有一个人知道，为了维护皇帝的威望，他不能承认错误，一定要处死海瑞。
徐阶赞成海瑞对皇帝的批评，这从他不久以后代替皇帝起草的遗诏，可以看得很清楚。但如果直白地说出来，局面反而不好收拾。摸透皇帝脾性的徐阶劝解说：海瑞这样的草野小臣，无非是沽名钓誉，陛下如果杀了他，恰恰成就了他，在青史留下英名。不如留他一命，使他无法沽名钓誉，也显得皇恩浩荡。但是皇帝依然要徐阶拟旨，处死海瑞。徐阶再次直言劝谏：“臣岂敢成陛下杀谏臣之名。”终于打消了皇帝欲杀海瑞的念头。吴履震《五茸志逸》记载此事，有一段生动的文字：“海忠介（海瑞）之批鳞也，世庙震怒，绕殿行竟夕，拔面上肉刺都尽。召华亭（徐阶）议斩之。华亭请其疏下，迟数日不拟。上督促至再，华亭俯伏泣曰：‘臣岂敢成陛下杀谏臣之名。’上怒始解。”这是徐阶的可敬之处，他有“保全善类”的秉性，这是一个方面；另一方面是由于他赞成海瑞的政见。
嘉靖四十五年十二月十四日，皇帝朱厚熜逝世，他的遗诏，并非生前口授，而是徐阶和张居正起草的，反映了徐阶的政见，也反映了海瑞批评皇帝清虚学道的意见。遗诏的基调是让已故皇帝作自我检讨，对于痴迷道教的错误有深刻的反省，为那些反对清虚学道而遭到惩处的官员恢复名誉和官职，严厉惩处帮助皇帝玄修的道士，停止一切斋醮活动。这些话，一看便知不是朱厚熜愿意讲的，而是徐阶假借“遗诏”的名义发布自己的政见。
十二月二十六日，隆庆皇帝朱载垕即位，他的登极诏书，也是由徐阶与张居正起草的，基调和遗诏完全一致，主要倾向依然是拨乱反正：起用反对玄修而遭到惩处的官员，严惩参与玄修的道士，停止斋醮，破格提拔人才，裁减冗员。
嘉靖、隆庆之际的政治交接，徐阶处理得巧妙、妥帖，既拨乱反正，又避免了“改祖宗之法”的非难。徐阶确实配得上“杨廷和再世”的美誉。
新郑鱼肉华亭
隆庆元年的内阁，可谓人才济济：徐阶、李春芳、郭朴、高拱、陈以勤、张居正。如果各位辅臣同舟共济，协助徐阶拨乱反正，必定大有可为。但是内阁一向是个是非之地，倾轧不断，此时也不例外。资格最老的李春芳温良恭俭让，折节好士，虽然位居第二，却对首辅恭敬有加，见到徐阶，侧身佝偻，如同属吏一般。陈以勤是忠厚长者，遇事不置可否。张居正资历最浅，是徐阶的门生与得力助手。位居第四的高拱最不安分，不把徐阶放在眼里，对他瞒过同僚，引用门生张居正起草遗诏，耿耿于怀，到处散布流言蜚语。郭朴与之一唱一和，因为高拱先前是裕王朱载垕的老师，颇受器重，郭朴通过高拱，博得已经即位的朱载垕的好感，因此两人相与甚欢。
高拱首先挑起事端，攻击徐阶起草的遗诏，诽谤先帝，有不可饶恕之罪。万斯同写道：“帝崩，（徐）阶草遗诏，夜召门生学士张居正谋之，不以语同列（徐）阶以世宗素英主，而晚年斋醮，土木珠宝织作不已，民力小困而同列高拱、郭朴皆不乐，曰：‘徐公谤先帝，可斩也。’”调子升高到“可斩”的地步，已经不是一般的政见分歧了。
《石匮书·高拱列传》提供了两人正面交锋的细节，高拱揭露徐阶在先帝身边写青词求媚的老底，徐阶被动辩解，以子之矛攻子之盾，甚是有趣，引录于下：
一日，方会食。（高）拱忽谓（徐）阶曰：“拱尝中夜不寐，按剑而起者数四矣。公在先帝时，导之为斋词以求媚。宫车晏驾，而一旦倍之。今又结言路，必逐其藩邸腹心之臣，何也？”
（徐）阶愕窒良久，曰：“公误矣！夫言路口故多，我安能一一结之，又安能使之攻公？且我能结之，公独不能结之耶？我非倍先帝，欲为先帝收人心，是恩自先帝出耳。公言我导先帝为斋词，用我罪。独不记载礼部时，先帝以密札问我：‘（高）拱有疏，愿得效力于醮事，可许否？’此札今尚在。”
（高）拱乃颊赤语塞。
两人不欢而散，还是老好人李春芳打圆场，邀请高拱到徐阶办公室谢罪。高拱虽然引罪道歉，内心怀恨，收集徐阶的儿子在乡里横行的事迹，指使门生御史齐康，公开弹劾徐阶“专权蠹国”，李春芳与之“声势相倚”。齐康自以为有高拱为后台，无所顾忌，弹劾奏疏的题目就十分吓人——《为险邪贪秽辅臣，欺主背恩，专权蠹国，十分不忠，乞赐罢黜究治，以隆初政事》。徐阶立即写了《被论自陈》，非常自信地说：“（齐康）劾臣过恶，并及臣男徐璠、徐琨、徐瑛，臣细读一遍，除描写造作之词，暧昧无稽之事，天地鬼神所共照察，臣俱不须辩。”为了表明自己问心无愧，特地向皇帝请辞。隆庆元年五月十八日，皇帝降旨：“览奏，卿素效忠恳，朕已久悉，兹当初政，方切倚毗，岂可遽因浮言求退！宜遵前谕，即出供职，不允辞。”
首辅请辞，非同小可，正直官员纷纷谴责齐康，直指齐康是高拱门生，听其指授，应置之法办。刚从监狱释放，出任大理寺丞的海瑞秉公直言：“（徐）阶自执政以来，忧勤国事，休休有容有足多者，而（齐）康乃甘心鹰犬，搏噬善类，其罪又浮于（高）拱。”隆庆皇帝降旨：齐康降二级调外任，平息了一场纠纷。高拱自讨没趣，以身体有病为由，辞官而去。支持高拱的郭朴遭到弹劾，被迫辞职。
高拱虽然离去，倾轧并未消停。受他影响的言官张齐于隆庆二年六月再次弹劾徐阶，揪住三点不放：撰写青词、起草遗诏、讨好严嵩。不过题目变换了一下：《边事重大，元辅不堪，恳乞圣明大奋乾断，亟赐议处》。徐阶有点被动，写了长篇奏疏答辩。
关于青词，他写道：“修撰玄文，虽前后同事不止臣一人。然臣既不能独辞，何所逃责！”
关于遗诏，他写道：“辅臣草诏，是谓代言。前岁先帝所颁遗诏，草虽具于臣手，然实代先帝言也实非敢彰先帝之失也。当遗诏开读也，百官万民莫不感动号哭，颂先帝之圣，增遗躬之思，此皇上可访而知也。然则臣于先帝，为毁欤，为忠欤？”
关于严嵩，他写道：“臣昔与严嵩同官，其序在先，其齿又长，彼所行事，臣安能尽与相违？然中间劝谕调维固亦多矣。其后事败，御史邹应龙、林润等据公论以劾于下，三法司、锦衣卫按公法以议拟于中，先帝秉公道以主张于上，或亲洒翰谕，或亲批奏章，明日月而威雷霆于时。嵩父子之获罪，盖有不待臣之攻者。”
张齐的攻讦别有用心，却点到了要害。徐阶振振有词的辩解，毕竟有点心虚，只得向皇上乞休。皇帝礼貌地下旨挽留。隔了一天，他再次乞休，皇帝立即照准：“卿既屡辞，特准致仕，着驰驿去。”看来皇帝已经对他“另眼相看”了，徐阶的政治生涯以这样一种方式结束，有点遗憾。当时的吏部尚书杨博一针见血地指出：“朝廷有朋党之疑。”沈国元《皇明从信录》写到此事，颇为徐阶鸣不平：“徐阶为国之时，辅佐世宗英明，一扫前相严嵩婪弊，遏绝中外奔竞秽习，仕阶复清，纪纲复振，一时世道修明之。会士君子姑深原其枉直委曲之诚，无庸过论可也则夫朝廷朋党之疑，理势必然也。”
不久，高拱复出。顶替内阁首辅的李春芳感叹道，徐阶都不是他的对手，何况是我！随即请辞而去。高拱顺理成章地成为内阁首辅，大权在握，报复随之而来，对退休在家的徐阶落井下石。沈越《皇明嘉隆两朝闻见纪》一语道破：“高拱执政，小人昔附徐阶者，皆反而献谀，下石于（徐）阶。”
高拱为人狠毒，必欲置徐阶家破人亡而后已。他起用蔡国熙为苏松兵备道，专门查办徐阶家族横行乡里案件。蔡国熙秉承高拱意指，煽动松江民众告发虚假罪状。《松江府志》说：“于是刁风特炽，告讦无虚日。”蔡国熙乘机逮捕徐阶的长子徐璠、次子徐琨、少子徐瑛，以及家人（管家奴仆）十余人，没收徐家田产六万余亩。据说，高拱的谋士出主意，徐阶很可能出巨资收买司礼监太监，谋求东山再起；防止他复出的最好办法，就是使其倾家荡产。蔡国熙的做法，目的就在于此。
出任苏松等十府巡抚的海瑞，不明白蔡国熙的背景，与之配合，大兴告状之风，审查徐阶家族以“投献”名义霸占民田之事。刁民蜂拥而至，状纸堆积如山，社会秩序一塌糊涂，士大夫深感不满，纷纷为徐阶鸣不平。《五茸志逸》提供了一条重要史料：“（海）忠介深德华亭（徐阶），后开府江南，为华亭处分田宅，实君子爱人以德也。第奉行稍过，遂致华亭不堪。四郡士夫咸为华亭解纷，谓忠介曰：‘圣人不为已甚。’忠介曰：‘诸公亦知海瑞非圣人耶！’缙绅悉股慄而退。”海瑞非常幽默地回应士大夫，自己并非圣人，随即把那些刁民告恶状的状纸，统统付之一炬。《松江府志》写道：“海忠介瑞抚吴，意在搏击豪强，而兵备蔡国熙承高新郑（拱）意指，首难于徐文贞（阶）。于是刁风日炽，告讦无虚日。或投柳跖牒讽之。海公殊自悔，乃尽焚讼牒。”
一向高高在上的徐阶，面临家破人亡的困境，不得不低下高贵的头颅，写了一封低声下气的求饶信，请高拱手下留情。他的文集没有收录此信，写些什么已经不得而知，高拱的回信倒是有记载的。陈继儒《眉公见闻录》写道：“新郑高公修吾乡文贞（徐阶）之怨，其下遂有承望风旨者，徐氏之族几碎。文贞作书，达之新郑（高拱），书不传，新郑书则有录者。”陈继儒记录了高拱的回信，《五茸志逸》也收录了这封信件。高拱在信中冠冕堂皇地说：“仆实无纤介之怀，明示天下以不敢报复之意。”又说：“今以后，愿与公分弃前恶，复修旧好，毋使藉口者再得鼓弄其间，则不惟彼此之幸，缙绅大夫之幸也。”这些当然是漂亮话，他正在谋划，如何报复得不露痕迹。
不久，隆庆皇帝逝世，小皇帝朱翊钧即位（年号万历），张居正联手司礼监掌印太监冯保，利用高拱扬言十岁小皇帝如何治天下，激怒太后和小皇帝，导致高拱下台。徐阶的危机，在张居正的主持下得以解除，田产归还，儿子官复原职。有人向徐阶问起高拱的报复，徐阶笑道：“老而善忘，忘之久矣。”
张岱对这段往事十分感慨：“新郑（高拱）狠躁自用，屡中奇祸，亦是其性气使然。而华亭（徐阶）以一言不协，用成仇隙。两虎相争，遂无已时。乃新郑再正揆席，鱼肉华亭，政用自快，而又岂知江陵（张居正）在议其后乎！”
徐阶在内阁倾轧中，幸运地得以善终。万历十一年，他在家中病逝，享年八十一岁。时任内阁首辅申时行为他写墓志铭，对他主政时期的政绩赞扬备至：“自公秉政，始倡廉节，惩贪冒，奖恬退，抑躁竞，一洗苞苴干谒之习。而尤锐身扶植公论，搜引才望，公卿百执事各任其职，凛凛至治也。”所以，张廷玉《明史》说他“间有委蛇，亦不失大节”。