1938年10月，戴笠亲赴贵州视察对张学良和祖父的关押情况后，给蒋介石发电报：
二十七年十月十四日 戴笠
生于八日离渝往息烽晤虎城，修文访汉卿，各处警备颇密。
张杨情况就表现观，杨仍好谈外交及政治；张则兴致所致对政治也多议论，张之情绪较佳，杨不免苦闷，而杨妻近似稍患神经但无妨。
对于看守祖父的工作，蒋介石曾再三叮嘱戴笠不可大意。1940年戴笠又亲自往息烽布置一番，便衣特务看守更加严密。
到1945年，日本投降的消息传到息烽，人们都很高兴。祖父也希望抗战胜利以及八年的时间能够减少蒋介石对他的仇恨，给他自由。当时就连一些特务也都这样认为，因此对祖父的态度也有改善。
1946年春天，在全国政治协商会议上，中国共产党提出了释放张学良、杨虎城、罗世文、车耀先等政治犯的要求。蒋介石表面上不反对，但是暗地里赶忙下令杀了罗世文、车耀先，同时对中共谎称早已处决了；张学良被秘密押送到台湾；祖父一家和两位副官也被移到重庆特区的一个秘密处所——杨家山——继续关押。
这时，祖父对自由的希望全失，情绪很低落。在1947年，因为关押而精神失常的谢葆真含恨去世。在长期的迫害下，我祖父情绪变得很低沉，身体也消瘦下来，不久就病倒了。
1948年秋，祖父患了严重的胆结石，住院做手术。在祖父生病住院期间，保密局都有电报向蒋介石报告病情，这些电报也都保存在台湾“国史馆”中。
祖父住院期间有位医生姓张，在给祖父治病时偷偷地把从报纸上看到父亲在延安的消息告诉了祖父；祖父也把戴笠他们的几次劝降，要他承认错误就可获得释放的事告诉了张医生。
在李宗仁代行总统后，曾在1949年1月24日指示顾祝同释放拘押的张学良和祖父。但蒋介石坚决反对释放。毛人凤、徐远举等人决定把祖父先转到贵阳。徐远举在劝杨转移时，祖父曾大发脾气说：“李代总统要释放我，你们为什么还要把我转移地方？我不是小孩，今天转这里，明天转那里，我不走！我要死就死在这里。”
后请来了国民党保密局西南特区少将副区长周养浩劝祖父转移，周养浩说：“蒋总裁认为如果现在由李宗仁把你释放，你就更加恨他了，所以他想把你暂时移往贵阳，不久将会把你送往台湾，然后和张学良一起释放。”于是祖父就在周养浩的陪伴下专机转往贵阳，又在贵阳的麒麟洞住了近七个月。
周养浩就是蒋介石屠杀的执行者，当时是毛人凤到重庆传达蒋介石命令，要处决祖父。执行以两个人为主，一个是徐远举，一个是周养浩。周养浩还亲自到贵州，说服祖父到重庆。本来祖父关押在贵州，但在贵州暴露了。麒麟洞是贵阳市的一个自然公园，本身地点就很引人注目，祖父在此被关六个月后，当地一些人就知道祖父在贵州了。蒋介石要杀祖父，而且要秘密杀害，如果在贵州杀了祖父，不免让人认为是政府行为，但在转移中杀了，就可以说成是被土匪杀了或是被共产党杀了。
1949年8月24日，蒋介石亲自从广州飞抵重庆召开会议，决定了要在重庆把祖父和其秘书宋绮云两家六人秘密杀掉。
