廖谟案本身并不重要，可这件案子却将杨士奇和杨溥同时牵扯了进去，最后完美解决案子的居然是“三杨”当时的对头——王振。王振的处置不可谓不妥当，更是借机暗示杨士奇和杨溥先前的处置不公，在太皇太后心里留下了阴影。这些事情发生在一起，王振在宫中的威望终于超过了“三杨”。之后王振以靖江王贿赂杨荣为借口对杨荣发难，杨荣只得从地方上返回京师申辩，最终无奈在途中病逝。“三杨”去其一，余下两人又被宫内猜忌，内阁的势力已经渐渐式微。正统七年随着太皇太后的离开，内阁失去了最大的依仗，再也无力与王振互斗。这时王振却抓住杨士奇的儿子为祸乡里的不法事迹攻击杨士奇，迫使杨士奇只能致仕还乡，“三杨”去其二，独留的杨溥彻底失去了与王振对抗的能力。
王振在与“三杨”的关系上，从最开始的唯命是听，到自己羽翼渐丰后在政见上提出反对，最后抓住一切机会将“三杨”斗倒，从而掌控了内阁，稳固了自己对外廷的影响。