廖谟案本身并不重要,可这件案子却将杨士奇和杨溥同时牵扯了进去,最后完美解决案子的居然是“三杨”当时的对头——王振。王振的处置不可谓不妥当,更是借机暗示杨士奇和杨溥先前的处置不公,在太皇太后心里留下了阴影。这些事情发生在一起,王振在宫中的威望终于超过了“三杨”。之后王振以靖江王贿赂杨荣为借口对杨荣发难,杨荣只得从地方上返回京师申辩,最终无奈在途中病逝。“三杨”去其一,余下两人又被宫内猜忌,内阁的势力已经渐渐式微。正统七年随着太皇太后的离开,内阁失去了最大的依仗,再也无力与王振互斗。这时王振却抓住杨士奇的儿子为祸乡里的不法事迹攻击杨士奇,迫使杨士奇只能致仕还乡,“三杨”去其二,独留的杨溥彻底失去了与王振对抗的能力。
王振在与“三杨”的关系上,从最开始的唯命是听,到自己羽翼渐丰后在政见上提出反对,最后抓住一切机会将“三杨”斗倒,从而掌控了内阁,稳固了自己对外廷的影响。