“李宗仁是利用你，雨东。”何应钦对关麟征说。
“老师呀，李宗仁只在台儿庄带我打过一次仗，就懂得利用我，可我为校长出生入死了多少回了？”关麟征幽默的回应。他知道何应钦也无能为力，何应钦是个老好人，何应钦不会跟蒋介石争什么的，更何况是为了关某人。
一再感到怀才不遇，一再感到受人欺压与漠视、羞辱，此时关麟征真的万念俱灰。1949年底，待到大局不可收拾，也不见校长安排自己去台湾。有一天他遇上了自己的好朋友黄埔三期的刘宗宽，关麟征拜托他去弄当时掌握在保密局手里的赴台的机票。刘宗宽找到有关系的徐远举把票弄到手后，关麟征就带着全家从成都飞到重庆，打算从重庆经香港到台湾。
飞机经过香港加油时，关麟征依着心中的盘算，从容下机，再也不回到飞机上。他带着爱妻和全家大小很快离开了机场，顿入了茫茫人海之中。
在香港，关麟征隐居起来，对外界的一切再也不感兴趣。此后他的生活可以用“解甲归田、隐居市井、闭门思过、不问外事、读书练字。”20个字来形容。
彼时有许多国军残部的游散军人流落在香港，包括一些将领，诸如卫立煌、张发奎。他们都算是卡在毛蒋之间的人物。关麟征在香港期间从不见卫立煌，1965年之前也只见过张发奎二次面。当时有人在香港搞地方势力，他们邀请关麟征参加，关麟征丝毫不感兴趣。他担任中央军校校长期间，所教育的黄埔20到23期学生也有一些人在香港搞同学会请他出席，他也不去。在香港这么多年，他从未在报上发表过一个字揭露他与蒋介石之间的恩恩怨怨，令台湾难堪。反倒是，1975年蒋介石过世，念及一生的师生情谊，关麟征破例飞往台湾为蒋介石奔丧，出现在大众面前。
关麟征来台的消息早就传到各界。在台北松山机场，上百位老战友与黄埔师生们等着迎接这位令人敬重的老朋友、老长官。关麟征一入关，见到眼前的情形，他不禁红了眼眶，去国二十五载，久别竟相逢，白发新两鬓，感怀世事远。尤其他见到长期出生入死的五十二军老战友黄杰，五十年生死两茫茫，他们百感交集，对望无言良久。彼时的中国大陆正处在“文化大革命”的最后一年，回头望去，在大陆或者台湾的战友与同志，不论立场如何，若不是在镇反肃反三反五反中难逃死刧，也会在反右和文革中殒命。在台湾，也有不少同志因言获罪或者立场不坚定，成为枪下亡魂，或者长期监禁失去自由。自革命以来，黄埔学生应该早早死在战场上。他们虽没有死，但他们经历了连孙中山也难以想像的岁月。
两人禁不住相拥抱头痛哭起来。
关麟征在香港病危的时候，护士对他进行抢救。当她们打开他的上衣急救时，见到这位老人胸口上到处是疤痕，年轻的护士感到非常震惊。但是关麟征的家人很清楚，那是抗战期间，关麟征被日本人炮弹炸伤所留下的疤。中国的史册当中，始终没有足够的篇幅留下关麟征的伤痕记录，更遑论其他在战场上成为亡魂的中国人了。
黄杰晚年留下一首诗自舒其情。
霜花新两鬓，
旧梦忍重温。
国难兼家难，
伤痕并泪痕。
九州犹未复，
万斛不应论。
沧海如能渡，
披衣拾散魂。
