不久赵飞燕被册封为皇后，赵合德也成为昭仪。
退处后宫的班婕妤，饱尝失宠的辛酸。面对情敌的淫威，为避免事端，明哲保身，她便急流勇退，向成帝要求到长信宫侍奉王太后。成帝顺水推舟，当即准其所请。从此，班婕妤悄然隐退，深居长信宫，日夜陪侍王太后，回避了宫廷争宠的角斗。
绥和二年（前7），汉成帝崩。王太后让班婕妤去守护陵寝。在荒漠的山咱们
野，她在孤寂哀伤中煎熬了五年多，年仅40出头即凄然辞世。死后葬于延朔师
陵。人诗赋传世评说多有班婕妤少有才学，工于诗赋，经常诵读《诗经》和《窈窕》《德象》《女师》等作品。入宫后诗作不少，尤其在失宠后其哀怨之情，往往寄于诗赋。《隋书·经065籍志》本有《成帝班婕妤集》一卷，但此集已佚。班婕妤流传至今的诗赋只有三首，即《怨歌行》《捣素赋》《自悼赋》。