5月中旬，蒋介石部署完上海决战后，乘军舰抵达普陀。父子二人游山时，遇一老和尚，他对蒋氏父子二人说：“寺中有一处名‘云水堂’者，专供来此朝拜的和尚食宿之用，因为‘云’飘来飘去，总是不断地流向他方而不知去处的，和尚行踪与此相类，故以云水名堂。”蒋经国听后感慨万千，他在日记中写道：“窃念岂独和尚如云水，世人熙来攘往，亦莫不如云水也。韶光若白驹过隙，踪迹若水上浮萍，今日父子相依，海上飘泊，何去何从，得毋贻‘云水’之诮乎？”
就在这段时间，国共在上海的殊死战斗开始了，从华盛顿传来的消息却越来越令人失望：美国不会继续卷入中国内战。蒋介石这才突然醒悟：“淞沪决战已经没有意义了。”
5月25日，人民解放军占领上海，汤恩伯的几十万精锐部队被消灭殆尽。
上海失守，“江南半壁业已风声鹤唳，草木皆兵。”蒋经国在日记中描绘道：“国事不堪设想，只有向天祷告，保护我父的安全和健康。”
思之良久，蒋氏父子“打消遁迹远隐之意”，决计去台湾重振“复兴大业”。5月底，蒋氏父子飞抵台湾，先后就住于阳明山(原名草山，因蒋介石推崇明朝哲学家王阳明，乃将草山改名为阳明山)和高雄寿山。“今晨在台北拜访吴稚晖老先生后，即登机飞冈山，途中遇大风雨，下午1时抵达。傍晚随父视察高雄要塞，登寿山岭视察形势，西为左营军港，南为高雄商淮，壮丽雄峻，诚不愧高雄之称。”蒋经国写道。
初到台湾期间，蒋氏父子的心情受大陆败局的影响，一直很颓丧。烦闷之余，蒋氏父子开始拟定防台计划，以舟山、马祖、金门澎湖一线为前哨，并确定今后以台湾防务为第一。蒋经国在日记中是这样描写自己的心情：“昨夜月色澄朗，在住宅前静坐观赏。海天无际，白云苍狗，变幻无常，遥念故乡，深感流亡之苦。夜中梦见溪口住屋被共军所焚，而先祖母与先母坟墓亦被掘毁，惊呼而醒，不知是何征兆也。”
尽管此时的蒋介石处境艰难，但他对一个中国仍很坚守。蒋经国在日记中写道：“近来台湾地位问题，以及联合国托管的谣言，甚嚣尘上。父亲对此有其坚决的主张与立场。‘英、美恐我不能固守台湾，为共军夺取而入俄国势力范围，使其南太平洋海岛防线发生缺口，亟谋由我交还美国管理，而英则在幕后积极怂恿，以间接加强其香港声势。对此一问题最足顾虑，故对美应有坚决表示，余必死守台湾，确保领土，尽我国民天职，决不能交归盟国。如彼愿助我力量共同防卫，则不拒绝。’”
“父亲接获我驻日本东京代表团来电报告，略称‘盟总对于台湾军事颇为顾虑，并有将台湾由我移交盟国或联合国暂管之拟议’。父亲极为忧虑，立即复电，请该团负责人就此事与麦克阿瑟元帅详谈，并郑重申说我政府之立场与父亲之态度以及对麦帅之期望。并指示谈话要点如次：‘（一）台湾移归盟国或联合国暂管之拟议，实际上为中国政府无法接受之办法，因为此种办法，违反中国国民心理，尤与中正本人自开罗会议争回台、澎之一贯努力与立场，根本相反。（二）台湾很可能在短期内成为中国反共力量之新的政治希望，因为台湾迄无共党力量之渗入，而且其地理位置，今后政治防疫工作亦较易彻底成功。（三）美国政府即令单从实际的利害上考虑，亦决不能承认中共政权，因为承认中共，决不能化中共为狄托，亦不能范围中共的行动。美国于一九四五年曾经抛弃在伦敦之波兰合法政府，承认苏联所制造控制之波兰政府，其结果只巩固了波共政权，毁灭了波兰反共力量。此事可为殷鉴。至于中国政府，无论在大陆与海岛，皆有其广大根据地，与中共持久作战到底，决不会成为类似伦敦波兰政府之流亡政府，余敢断言。（四）基于以上考虑，余及中国政府深盼麦帅本其在东亚盟国统帅之立场，以其对于赤祸与东亚前途之关系，极力主张两事：甲、美国政府决不考虑承认中共政权，并应本其领导国际之地位与力量，防阻他国承认。乙、美国政府应采取积极态度，协助中国反共力量，并应协助我政府确保台湾，使成为一种新的政治希望。’父亲之如此公忠谋国，我想任何历史家都不能否认的。”
蒋介石父子离开高雄，飞抵桃园，转至大溪。大溪镇有山有溪，风景与气氛很像家乡溪口，气候也比较凉爽，蒋经国“一夜安睡，精神更觉愉快。晨起，至溪边公园散步。”
