国民党军队曾厉兵秣马，为“反攻大陆”积极备战。
这么多国民党残军跑到越南境内，而越南仍由法国殖民者统治。在法军眼中，中国军队还是大清时愚昧、野蛮、杀人放火的辫子军。为此，他们决定将所有在越国军迁到富国岛，以集中管理。8月14日至9月3日，黄杰等在越各路人马被法军用小船一船一船地南运到富国岛。
富国岛东邻暹罗湾，荒蛮程度和蒙阳差不多，全是原始森林，并四面环海。官兵们被送上岛屿。几万人就这样被禁锢在这个名字很美丽而环境恶劣的荒岛之上。
在荒岛上没有住处，官兵只好再次拿出拓荒的精神，填沟平洼，进深山伐木取藤，选取阳东和介多等地块，修建了一片栖身的茅棚房。
“忠贞官兵”困在富国岛，不当人看待，这令蒋介石很关切和挂牵。9月6日，他亲笔写下《慰问国军留越将领黄杰书》，全文如下：
达云同志：
尹总领事返国披阅手书，藉悉我军在越近情，甚慰且念，吾弟此次率部入越，艰苦备尝，乃于流离颠沛之中，犹能负重整饬，严督勤教，提振士气，团结精神，良深欣慰，仍希益励忠勤，循抚部属，努力自强，待机报国，是所至盼。来书请求诸事，已交主管机关迅速办理，余由蔚文同志面达不赘，顺颂勋祺。
中正手启
9月6日
10月，蒋介石再派国策顾问林蔚和“国防部”总政治部副主任胡伟克一行坐飞机到富国岛。看望官兵后，林蔚与法国殖民当局商洽、谈判，准备把他们运回台湾。谁知谈判完全不得要领，一个说东，一个扯西，结果林蔚和胡伟克无功而返。12月，蒋介石下令任命黄杰为留越国军管训总处司令官。总处下辖三个管训处，官兵设总队、大队、中队。