在中央办公厅和江西为邓小平去江西的事情忙着的时候，邓小平和家人也在抓紧收拾东西。生活用品很好收拾，关键是要尽可能多地带一些马克思列宁主义、历史、文学等各类书籍，在此后的岁月里，邓小平将从这些书籍中汲取新的智慧和力量。
1969年10月22日，邓小平夫妇与邓小平的继母一行三人，乘飞机从北京直达江西。到南昌后，邓小平一行先被带到一个招待所，由江西省军区一位负责人对他们讲了一次话，叫他们“老老实实接受改造”。几天后，他们被送到了居住的地方——江西省新建县望城岗原福州军区步兵学校院内的将军楼。在这座将军楼里，他们一直住了3年多。
“非淡泊无以明志，非宁静无以致远。”在江西期间，邓小平夫妇被安排到新建县拖拉机修配厂参加劳动。每天上午到工厂劳动半天。邓小平被分配做钳工，这是他青年时代在法国勤工俭学时干过的老本行，没想到几十年以后又派上了用场。重操旧业，他干得仍然是那么认真、那么熟练。卓琳则被分配做拆洗线圈的工作。邓小平因为是“党内第二号最大的走资派”，所以每天上工都由人持枪押送，在工厂也是被实行“不许乱说乱动”的监督劳动。尽管如此，对他们来说，这总是长期与世隔绝以后得到的与外界、与社会、与群众接触的机会。
开始的时候，厂里的工人们是怀着好奇的心理观察他们两人的。时间一久，他们的言行举止、劳动态度以及他们的为人，深深地感动了工人们。工人们与这个“大走资派”的隔阂逐渐消除了。在共同的劳动、工作中，工人们与邓小平夫妇建立了深厚的情谊。中国的普通老百姓是最淳朴、最善良的，他们并不认为“文化大革命”中下放劳动的“走资派”有多么坏，而是把这样的人看作是“奸臣误国”时的“好人”。
邓小平夫妇在该厂劳动改造的3年中，工人们在力所能及的情况下给予他们的关心和爱护，使他们永远难忘。新建县拖拉机修配厂的后面本来没有路，工人们为了邓小平的安全和上下班方便，特意从工厂围墙上开了个口子修上门，便于邓小平和夫人卓琳上下班时从这里通过。天长日久，邓小平夫妇竟然在这里走出了一条小路。不过这是条泥泞小路，晴天走还可以，遇到风雨天，就难走了。有一天，大雪纷飞，邓小平照样循着这条小路到厂里劳动。快走进厂区时，脚下一滑，跌了一跤。工人们得知这一消息，自动拿起锄头、铁锹，挑着煤渣，冒着刺骨的风雪连夜把路修好。这条小路，以后被人们称为“邓小平小道”。有一次，邓小平在劳动中昏倒，工人们连忙抢救，按照卓琳介绍的方法，冲了一大茶缸白糖水喂到邓小平口中，使他转危为安，然后又用拖拉机把他送回住地。在工厂劳动期间，邓小平夫妇从工人们的关心和爱护中得到了最好的精神安慰和支持。3年之中，无论刮风下雨，无论酷暑严冬，他们去工厂上班从不间断。
邓小平到江西以后，与刘少奇在河南开封、陶铸在安徽合肥的待遇有明显区别。刘少奇、陶铸都失去了人身自由，由军队武装看押，虽未正式逮捕，实际上等同“犯人”。刘少奇病入膏肓危在旦夕而无人抢救，还被斥责为“装病”。陶铸被关押起来以后称呼看押战士一声“小同志”，会立即遭到一顿劈头盖脑的斥责：“谁跟你是同志，你这个大叛徒!”把陶铸气得犹如猛虎入囚笼，有天大的本事也施展不出来了。
当然，看押刘少奇也好、值勤战士斥责陶铸也好，与执行人员是无关的，他们只是按照林彪集团、江青集团传下来的“上级指示”奉命行事而已。邓小平在南昌步兵学校有一栋小楼安家，在院子里可以享有充分的人身自由（但不能随便出院子），每天可以到工厂劳动锻炼，接触社会、接触实际、接触工人。这无疑是毛泽东和周恩来关心、保护的结果。但江西省革命委员会却不大理解毛泽东、周恩来的长远战略部署，认为邓小平既然是“党内第二号走资本主义道路的当权派”，就理所当然地应该经常向他们汇报思想。1969年11月23日，负责邓小平一家生活的江西省革命委员会的一名干事，按照江西省革命委员会负责人的旨意，让邓小平对到江西一个月来的劳动和学习情况写出心得体会。邓小平回答说：“有事我会给毛主席党中央写报告的。”这说明，邓小平对毛泽东对自己的看法，对自己的状况，心中还是有一定把握的。不然，不可能会一口拒绝江西省革命委员会的这一要求。
