1984年6月22日，小平同志首先会见了香港的工商界人士，23日会见钟士元、邓莲如、利国伟三人。他们三个人都是行政局（行政局是港督的一个咨询机构）的议员，钟士元是首席议员，他是企图来说服我们维持现状的，不要收回香港。他说是代表了香港民意来的，因为行政局是代表香港民意的。小平同志一上来（我们事先也跟他汇报了）就跟他们说，你们不是代表香港民意来的，你们是代表英国人的利益来的。人家还没有张嘴说话呢，就被他堵住了，他一下子就给他们来个下马威。因为那个时候英国人企图以香港民意来对我们施加压力，而香港刚开始的时候，民意对香港回归还是有各种各样的顾虑，这个是完全可以理解的。大多数的香港人那个时候还希望能够保持现状，希望英国人继续管治。他们很害怕回归以后，我们在香港也会搞什么政治运动，也会把香港变成一个社会主义的地方。对我们讲的社会制度不变、生活方式不变、法律基本不变，他们还是不放心，将信将疑的。所以这种情况底下，的确有很多人产生了一个信心问题。对于这个问题，小平同志讲，随着我们“一国两制”政策在香港落实，我相信香港人的信心问题逐步会解决的，要通过实践来证明我们是的的确确、真心诚意地在香港实行“一国两制”的。
后来，英方又在会谈中提出，因涉及香港问题，需要有港人代表参加谈判。这实际上是想在谈判中挟“民意”来对中方施压。中方及时揭穿了英方的这个阴谋，指出香港问题的谈判纯粹是中英两国政府之间的外交谈判，没有理由要由香港人作为一方也派代表参加，从而粉碎了英方“三脚凳”的图谋。
在第四轮谈判结束后，英方故意放出风去说，谈判破裂了，散布“香港前途不明”的论调，结果造成了1983年9月24日的“黑色星期六”事件，港币、股市大跌，银行挤兑，人们疯狂抢购日用品。香港好像整个要崩溃了的样子。
当时我们就分析了这个形势，我们找了很多部门，包括中国银行、华润公司，我们觉得这个事情是英国人故意制造的，拿这件事情来压我们，企图以此增加其谈判桌上的筹码。我们分析，觉得不必惊慌，从1983年计起，香港还有14年在英国人手里，英国毕竟有大量利益在香港，香港就此垮了，对他们不利。这个风波他们迟早会自己出手解决的，局面他们会收拾的，所以我们不要去担心，当时我们就没有受他们影响，后来果然不出我们所料，风潮很快就平定下来了。
所以说，英国人是很会耍这些小把戏的。当时香港发生“金融风暴”，港币汇率大跌，跌至9.60港元兑1美元的历史低点，英方损失也很惨重。跟中方协商后，港府其后在10月15日宣布实施联系汇率制度，以7.80港元兑1美元的汇率与美元挂钩，才得以维系港元稳定。中方也暗中支持，使金融危机得以平息。
对于英方采取联系汇率这个政策，把香港经济稳定下来，从我们来说，我们也觉得是应该做的，不然的话香港的经济老是这么下滑下去，人心波动，对香港的回归也是不利的。
为此，我们后来和港英成立了一个财政金融小组，定期会晤。这个小组是保密的，我是中方的组长，英国方面是他们的财政司司长。我们那时希望这个小组多方面联系，希望在香港回归前的过渡时期，对香港的财政金融能够共同研究，共同协商。
当时我们最担心的是这些大财团撤资，特别是外资公司会撤离香港。所以那时我们做了很多财团的工作。比如汇丰，我们做了大量的工作。那时他们说要迁册的时候，我们谈了很久，企图说服他们不要迁册。其实他们那时候确实有很多问题，他们也有困难。有个国际金融界对他们的信心问题，迁册也是没有办法。但是他们强调，他们的基地还是在香港，不会走。还有怡和，我们对怡和很失望。我们觉得，怡和完全没有必要撤离。我们把怡和和太古相比，太古就比较明智，一直留在香港。后来此消彼长，太古发展得很好，怡和慢慢就下去了。
那时中英谈判双方处于僵持的状态。事实上，我们在第一轮谈判时，就把我们的方针政策摆在桌面，由于我们态度坚决，他们的种种花招不起作用，只能回到谈判桌上。1983年10月4日，撒切尔夫人授权柯利达在会谈中阐明，1997年后英国将不再坚持英国管治，也不谋求1997年后同香港的任何“权力联系”。中英谈判进入第二阶段（第七轮开始），主要是围绕中方提出的十二条方针政策来进行实质性谈判。总之，英方在谈判中千方百计地企图在1997年后继续保持它在香港的利益和影响。一反英国一百多年来实行的独裁统治，提出要什么“还政于民”，推行其所谓的“民主政治”，企图以此来制约中国对香港行使主权，把香港变成一个独立的政治实体。
撒切尔夫人于1984年初，在首相府举行的会议上，提出把“谋求香港最大限度的自治”作为英方现阶段谈判的主要目标，企图以此来修改中方主张的“高度自治”的内涵。在谈判中，英方不再宣传“港人治港不可行”，并由鼓吹香港政制完美无缺转而强调港英当局“绝对不会反对香港政治结构的未来发展”。但是英方在会谈中不时提出与其承诺相违背的主张，试图让英国人在1997年后香港的新行政体系内继续扮演举足轻重的角色。我们对英方的这些企图一一将之揭穿和批驳，坚决按照我们的既定方针与英方进行了针锋相对的斗争，终于达到了我们预期的目标。
谈判进入第三阶段，主要议题是讨论过渡时期的安排和政权交接事宜，研究解决遗留的具体问题和商定最后文件。最困难的问题是在香港设立中英联合机构问题。这期间，英方还在散布“中国未必遵守协议”的论调。
