进退两难的张国焘不去台湾，又能去哪里呢？何处是他的安身之地？
1949 年，蒋家王朝在中国大陆的统治终于在共产党领导的人民解放军的强大进攻面前土崩瓦解。南京总统府插上了五星红旗。逃到台湾的蒋介石及国民党要人，为了在台湾维持偏安局面，一面通过外交手段希望继续得到美国的支持，一面忙着收拾残局，安定地方，并为“反攻大陆”做一切准备，再也没有想起张国焘的事。张国焘这时才真正感到被人唾弃的滋味。他只好厚着脸皮向蒋介石求情，蒋勉强答应了他的要求。
张国焘到台北后，国民党政府既未给他安排工作，也未过问他的生活，根本忽视了他的存在。
垂头丧气的张国焘只好自己支撑起一家的生活重担，为生活而忙碌。他一家先是住在南阳街的一个招待所内，后来发现住招待所多有不便。为了生计，张国焘有恢复《创进》的打算，便在北投一家温泉旅馆的附近弄了一栋房子。正当张国焘买好材料，请来工匠准备将房子装缮时，忽然，一天来了两个自称是东南军政长官公署的人，找到张国焘，告诉他这座房子他们早就租赁了，命令立即停工。
张国焘本想以自己是国民党中央委员的名义压一压来人的霸气，不料这两个人并不吃这一套，反而态度强硬地说：“不管你是国民党中委，房子我们要定了！”被逼无路的张国焘，顿时老泪纵横，一时气得如牛吼一般。据毛人凤说，张国焘因这次受气而大病一场。从此，曾是中共要人的张国焘便日落西山了。