5月14日，参谋总长周至柔电告黄杰：“留越国军即全部船运台湾归国，第一批船15日出发。”
5月23日，第一批接运官兵的三艘大型军舰到达越南阳东。黄杰如是形容当时的场景：
清晨，海面的晓雾，又浓又厚，一片迷蒙，看不出什么动静，但鱼肚色的高空，却给我带来了一个天气晴朗的预报，海里的波浪也太大，我的心头，泛现出无言的喜悦。渐渐地，重重的晓雾消失了，旭日从东阳山背射出灼人的光芒，使碧透的海面平添无限瑰丽。
蓦然间，一声尖锐的狂呼：“船来了！”沙滩上的人群，如蚁沸蜂屯一般，向东南角上挤去。这时，三艘登陆艇，迎着升起的朝阳，正对阳东港驶来……
官兵们三年的郁闷一扫而光。在管训处的组织下，第一批2000多名返台人员和家眷有序登船。经过近十日的大海航行，三艘军舰抵达台湾，进驻左营的胜利营区。
这一批残兵败将下船后，“国防部”马上进行拨编。首批返台的富国岛部队，即第一管训处第二、第三总队拨编海军陆战队第一旅步兵第四大队、第二旅步兵第六大队，但两个新编大队副主官及政战干部均由陆战队司令部派遣；
第一管训处第一总队、处部及直属大队官兵，一部分拨编海军士官学校，一部分拨编陆战队司令部直属连与旅直属炮兵单位。这些落难军人编入了国军最精锐的王牌部队——海军陆战队。
之后批次的来台人员均在台南高雄港上岸，除少部分拨入海军陆战队外，多数编入陆军各师，眷属则分别安置在台北、台中、台南、左营、花莲等新建的“富台新村”。
黄杰是最后走的，主要是在越南处理善后工作，拜访和感谢那些法军殖民者。当他返回台湾后，立即成为大英雄，岛内军民齐口赞誉他为“海上苏武”。
中央社发表长篇文章，盛赞他在富国岛三年，对“蒋总统”忠贞不二，经受了最严峻的考验，并且这份忠心远远胜过西域牧羊十九载的“麒麟阁十一功臣”苏武。在一派赞誉声中，黄杰即被蒋介石拔擢为台北卫戍司令部司令。在接下来的岁月中，他官运亨通，步步高升。
这支残兵回到台湾，多少充实了国民党军队。但是，区区几万人马对蒋介石的“反攻”作战自然起不了什么大作用。
然而，蒋介石的“反攻”战争梦还是没有醒。