张大千走后，张家像往常一样的过日子。路上敲锣打鼓欢欣鼓舞，只有衬托出男主人抛弃一切远走高飞后留下的一室寂寥。没有人知道，很快的，这场政治的变局将掀起巨浪，吞噬所有的一切。
在海峡这边，刚到台湾只住了不到二十天，张大千就发现台湾当局进行出入境管制让他不舒服。他毕竟是个自由惯的人，出师后便云游四海，二十多年从不为任何事所困。不管你是共产党还是国民党，谁也别想束缚张大千。为了方便旅行，同时为了与家人通信，张大千又带着徐雯波和孩子移往香港。香港有许多张大千的朋友，他与他们语言相通，生活上没有什么不便，但他随即又觉得香港小，人口多，人物复杂，不宜久居。刚好这个时候，他接到印度新德里美术会邀请到印度举行画展。他便到印度去，顺道去旅行。旅行到大吉岭，他被当地风景迷住了。打算长住下来。但后来吃惊于当地的地震和落后的医疗，才又回到香港。
1950底年张大千回到香港，租了九龙一处院落住了下来。没多久四太太徐雯波便生下一男婴，张大千取名为心印。差不多在这个时候中共放出张大千四个儿子，包括张心智、张心一、张心澄、张心夷到香港劝张大千回大陆。
张大千原本见到儿子们开心极了，但随即觉得不对，这些孩子怎么一个个都积极劝他回去。张大千最恨人不真不诚，更别说自己的孩子变成“政治工具”，立即怒目凶道: 你们究竟是要我这个老头子，还是要什么人民政府?要老头子就留下来跟着我，要跟什么人民政府，马上就滚蛋!总之你们休想骗老子跟你们回去!
儿子们听到父亲大怒，吓得全跪了下来，哭作一团。一家大大小小一把眼泪一把鼻涕，又心痛又心酸。他们心想，若不回去，成都的几个老母岂非再被遗弃一次?第一次是作丈夫的，第二次是被儿子遗弃。
张大千见他们还不“弃暗投明”仍在作什子地犹豫，更加愤怒，他大哭叫道: 在这儿，你们还能叫我爸爸，真要回去了，苦日子还在后头呢！总有一天，你们连我这个爸爸想认都不敢认了!
生离死别的挣扎下，最后张大千用亲情为自己打赢了这场统战。儿子决定不回大陆了。张大千携家带眷展开了三十年的全球流亡生涯，从印度、到阿根廷，到巴西，到美国，最后落叶归根台湾。
在巴西期间，中共曾放出了张大千最钟爱的四女张心瑞到巴西看张大千。张心瑞探视张大千，请张大千回国看看，被张大千严正拒绝。张大千迁往台北后，张心瑞和夫婿萧建初先后获准到美国。张心瑞没有台湾的入境许可，无法去摩耶精舍看父亲。萧建初原是张的入室弟子，曾追随张大千在敦煌工作。张心瑞上次到巴西争取父亲对祖国的向心，张大千很不谅解。事实上在女儿和女婿赴美前，张大千已经读过他们曾在北京人民美术出版社的《美术月刊》上发表一篇评论父亲画作的文章《张大千先生的画业》。张大千在这篇文章中读不到一丝亲情。注重传统伦理的张大千认为，儿女来评父亲的画作，全不带感情，这种事是大不敬，他打趣的说，这是唱平剧的鸿鸾禧吶! 他们夫妇来耍我这老丈人了。所以这次心瑞和建初出来想探自己，张大千也并无什么想象。他吩咐说:愿意在“自由世界”住下来最好，等过了若干时期，取得美国的居留权了，自然也就可以申请台湾的入境签证，那时候顺理成章就可以来台湾看爸爸。
当时台湾还没有解严，大陆籍人士不能自由进出台湾。张家也不知是哪个人，提出要在老太爷过寿这一天请四散在巴西的，以及美国的儿孙辈都齐聚美国欢聚一堂，也算一家团圆。
此话一出，张大千立即吹胡子瞪眼道: 有孝心的儿孙，自古只有你们来给老太爷拜寿的道理，如今怪了，竟叫我这老头子不远千里远渡重洋来凑合你们!这算是哪门子的规矩?
张大千这一骂，谁也不敢再出什么馊主意了。
张大千到辞世之前，从未更改过自己热爱自由的生活信仰，也从未对外提起，他思念被他遗弃的、与他共过患难、痴心于他的三位妻子。
