12月，国民党中央改造委员会秘书长张其昀按照蒋介石的授意，找到张道藩透露该消息，不料，张道藩激烈反对。月底，张道藩请辞“立法委员”，避免被推举为院长人选。

　　张道藩并非清高，他深恐自己“好色”被人作为把柄，重蹈刘健群覆辙。

　　张道藩年轻时留学英法学习美术，后弃画从政。学画时，他就支持刘海粟的裸体艺术。在重庆时期，他把好友、著名画家徐悲鸿的妻子蒋碧薇魔法般变成自己的情人，直接导致1945年12月徐蒋离婚。而张道藩本人一直有法国籍妻子素珊和孩子，却将蒋碧薇金屋藏娇。到台湾后，素珊和孩子被张道藩送到千里之外的澳洲法属新克利多利亚岛。他表面上一个人在台北当裸官，其实，住在台北温州街96巷6号他为蒋碧薇置办的家里。这是一座日式平房独院，入院后正房三间，右边门牌挂着“张道藩寓”，左边挂着“蒋碧薇寓”，两人公开同居一院，再次成为台湾媒体热衷的绯闻。“立法院”里“大炮”奇多，说不定哪日哪位“大炮”拿这事“开炮”，他张道藩吃不了就得兜着走，“立法院长”肯定干不下去。

　　但他给内政部的请辞函石沉大海，杳无音讯。

　　张道藩的坚拒姿态，反获蒋介石欣赏，认为他无意争权，先后两次召见他，不准他推辞。

　　张被蒋逼急了，脱口而出：“我这是去飞蛾扑火啊！”

　　“这个工作非要你去干不可。”蒋介石说，“今天国家到这样地步，就是要你去牺牲，你也要去牺牲。我们就这样定。”张只得走马上任。

　　（据《蒋介石在台湾·第一部》陈冠任）