彭德怀满心期待的审查，却是对他“罪行”的进一步搜集--1964年，专案组跑到湘潭乌石，凡是1961年他在故乡接触过的干部村民，全被查问。他做的民情调查、精心呈交中央的5份调研报告，被怀疑是“笼络人心”、“散布毒素”。
十中全会过后，彭德怀不再收到中央下发的任何文件、通知。12月，他年内第三次致信毛泽东及中共中央，对篡军、篡改军史、对领袖人物的评价、企图以后勤部作为篡军基点等等问题，一一作了辩解。
吴家花园已加严岗哨，荷枪实弹，高度戒备。哨兵记事本1964年10月记载，“保证安全；不让反革命分子杀掉，跑掉；他出去要跟紧，不让他接见外人；在国内有重大变化时，特别要注意他的动态。”
这年12月，第三届全国人民代表大会在京召开。会议宣告，撤销彭德怀国务院副总理职务。
当天，哨兵观察他得知这一消息时的神情，在本上记道，“他突然笑了一下。”
次年9月23日，毛泽东在中南海约见彭德怀，说服他“挂职下放”到成都，投入西南三线建设。这是他们最后一次相见。
庐山会议遭批时，彭德怀曾向毛泽东做了3条保证--在任何情况下不做反革命，不会自杀，今后工作是不好做了，劳动生产，自食其力。这次，他又重复了一遍。
毛泽东听后说，后面两条我还记得，也许真理在你那边。
这一年11月28日下午，黑色小轿车最后一次从吴家花园开出。开往北京站途中，侄儿彭康白的妻子王素红提醒彭德怀：伯伯，这儿是西单，快到中南海了。
他轻轻“嗯”了一声，目光投向窗外。
11月30日，就在彭德怀抵达成都当天，《人民日报》转载了姚文元于 《文汇报》 发表的 《评新编历史剧 〈海瑞罢官〉》。