自回国后，钱学森的住处始终未变，不知道有多少人劝他搬到新房子里住，他就是不肯。很久以后，钱学森对人说：“我住在这老房子里不愿搬家，是因为这是聂老总亲自分配给我的，它使我常常想起当年的科研工作，想起聂老总对我的关怀……”
“你把40年代后期中国人民解放军大兵团作战的经验运用到现代大科学的工作上来，这一整套组织合理的制度和方法不仅是科学的，而且也是结合我国实际的！”聂荣臻90岁生日的时候，钱学森在给聂荣臻的贺信中说。
1964年10月16日，中国第一颗原子弹爆炸成功后，西方一些军事情报部门认为爆炸的不过是个原子装置，美国国防部长甚至断言：中国5年内不会有原子弹的运载工具。有西方记者说：中国是“有弹没枪”。然而，美国等西方国家又一次低估了中国人的能力，他们绝对没有想到，中国早在原子弹试验成功前的三个月，就已经有了中近程弹道导弹。对于导弹，聂荣臻倾注了更多的心血。1960年，五院成功仿制了苏联提供的、射程为590公里的近程导弹，这就是“东风一号”。
我国第一颗原子弹于1964年10月16日在西部地区爆炸成功。
“东风一号”导弹虽然是按照苏联图纸制造的，但是所用的材料全部是国产的，这是中国有史以来第一次发射导弹，聂荣臻非常重视，亲自赶到第一线指挥。他于1960年11月4日到达酒泉发射基地。他抚摸着那枚代号为“1059”的导弹墨绿色弹体，叮嘱道：这是一枚争气弹，一定要打好!11月5日清晨，聂荣臻在张爱萍、赵尔陆、钱学森等人的陪同下，来到距离发射阵地5公里的指挥所。9时整，随着一声巨响，大地颤抖起来，10分钟后，导弹准确地命中550公里外的预定目标区。这是苏联单方面撕毁中苏《国防新技术协定》后，在天灾人祸面前，中国人民在国防科技方面取得的第一个重大成就。当天晚上，在简陋的基地食堂内，聂荣臻向基地的工程技术人员和干部们敬酒表示祝贺。他说：在祖国的地平线上，第一次飞起了我国自己制造的导弹……这是我国军事装备史上的－个重要转折点。后来，我国又成功试射了两次“东风一号”，都获得成功，这标志着中国已经初步掌握了导弹制造技术。
一年零四个月后，五院自行设计的中近程导弹生产了样品，这种射程为1200公里至1500公里的导弹，被命名为“东风二号”。谁知意外的事情发生了，导弹起飞后，仅仅飞行了69秒就坠毁了。
“聂老总，我们没有干好，对不起国家！”钱学森难过地说。“这次没有干好，下一次会干好的，我相信你们！”聂荣臻对钱学森等人说。他还说，失败了，要重在总结经验教训，不要追究责任。他还重申，技术上由钱学森当家。钱学森听后很感动，他意识到自己的担子更重了。
重新修改设计后的“东风二号”导弹，经过17项大型的地面试验，105次发动机试车，于1964年6月29日全程试射成功。后来，又连续发射了两次，均获得圆满成功。在此之后，钱学森见到聂荣臻时，高兴地说：如果说，两年前我们还是小学生的话，现在至少已经是中学生了。
装到导弹上的核弹头，比起核航弹来说，体积和重量都要大大缩小，在环境条件方面，要求也更加复杂苛刻，研制难度很大。聂荣臻提议这项工作由钱学森、钱三强共同主持。经过二机部和七机部科学家的共同努力，仅仅用了一年多时间，就解决了导弹和核弹头结合的问题。这中间聂荣臻做了多方面的协调工作。
