随着时间的推延，蒋介石对白崇禧的限制也越来越多，并于1952年对白崇禧的住所进行了大搜查，除搜查所有家具外，还将地板全部挖开，令白崇禧忍不住打电话责问蒋经国。蒋经国说：“健公，这不是我的意思，你打电话问总统好了。”白又打电话给蒋介石，蒋介石回答说：“我知道这件事，我们对所有人都应该来一次这样的大搜查。”但事实上，这次只搜查了白崇禧和薛岳，以后也没有对其他人进行过此类搜查。
在1952年10月召开的国民党第七次“全代会”上，国民党改造宣布结束，作为对“党国元老”的安置，所有未在新组建的“中央委员会”任职的“党国元老”，均在“中央评议委员会”里提名任职，只有一个人除外，这个人就是白崇禧。而白崇禧原来的“中央执行委员”、“中常委员”也在此次会议中被拿掉，只留下“总统府战略顾问委员会副主任委员”、“中国回教协会理事长”和“国大代表”这些空衔。
“总统府战略顾问委员会”主任委员是何应钦，在大陆时，何、白两人曾经拍档亲密无间，如今处境却天壤之别。虽然何应钦同样被夺了权，但起码还居高位可以出席“道德重整会”去美国转转，白崇禧则被禁止踏出台湾一步。
很多人为白崇禧抱不平，白崇禧似乎很“坦然”，他对朋友说：“经过这一次大失败，总要找个人来顶罪，任何时候都一样，没有什么好奇怪的。”
蒋介石不想公开处罚白崇禧，但湖北人却不想放过他。桂系军队长期盘踞湖北，横征暴敛，令湖北人十分痛恨。在以“湖北人家长”自居的何成浚策动下，湖北“国大代表”弹劾白崇禧，吞没军费7万多两黄金；吞没汉口中央银行库存370多万两白银；不服从统帅指挥，拥兵自重，要求“追究责任，以明是非，振纪纲而知复兴”。
面对此弹劾，白崇禧十分惶恐，幸好蒋介石此时没有借此清算白氏的意图。身为会议主持的陈诚起身为白氏辩护：“华中的事，各委员所提的不是事实，你们要想知道真相来问我。”此事便被压下了。
1954年“国民大会”一届二次会议上，湖北“国大代表”40多人联名，旧案重提。白崇禧再次以书面作答。最后“国大”会议决定将此案保留，一场弹劾案才不了了之。
不久，曾任国民党“中央宣传部副部长”的潘公展，在香港《新闻天地》发表文章，提及当年华中“剿总”抗旨不尊，“视徐淮之告急若秦越之不相关”，令白崇禧万分紧张。1959年蒋经国出版的《危急存亡之秋》一书中，披露了桂系逼宫全过程，令白崇禧百口莫辩。逼宫案成了白崇禧晚年的最大心病，担心蒋介石随时会与他清算旧账，置他于死地。
在这种惴惴不安中，“副总统”陈诚对白崇禧表现出的宽容与示好，令白崇禧深感安慰。1954年的“国大”一届二次会议还有一项议程，就是选举正副“总统”。“副总统”一职由蒋介石提名陈诚。虽然在大陆时陈诚与白崇禧明争暗斗，互不相容，但如今陈诚成为炙手可热的二号人物后，对白崇禧非但没有落井下石，反而礼遇有加，十分尊重。并于此前专程拜访白崇禧，希望白能帮忙拉选票。陈当选“副总统”后，蒋仍要其兼任“行政院长”，陈为此征求白崇禧意见，白送他四个字：“养体养望”，建议不要兼。以后陈诚有什么事总是征求白崇禧意见，白亦知无不言，陈亦从善如流。1961年白崇禧70大寿之日，陈诚夫妇亲自到白府祝寿，并与白崇禧合影留念。
白崇禧还有一项职务是“中国回教协会理事长”。抗战时期，白崇禧担任此职，对增强西北回族与马家军的内向力，制止日本人分化中华民族，发挥了重要作用。1955年约旦国王侯赛因访问台北，邀请白崇禧访问中东。蒋介石担心白崇禧一去不归，在不予批准的同时，要求“回教协会”改选理事长。白崇禧只好黯然辞职。
白崇禧去台之后的生活，主要靠读书写字，打猎、下棋消磨时光。晚年的一项工作就是口述回忆录，并于1984年以《白崇禧先生访问记录》为书名，分上下两册公开出版。
