在凯西和西苏鲁等难友的建议下，曼德拉从1974年起开始写回忆录。“不要把这看作是个人的事”，被人们称为“非国大的历史学家”的西苏鲁表示：“这是我们斗争的历史。”曼德拉的写作进度很快，在短短4个月时间里，即完成了初稿，从自己的出世一直写到入狱前的审判，以罗本岛的一些记录结束。完成的手稿被曼德拉等压缩成几乎放在显微镜下才能看到的纸片上，然后将这些纸片藏在自己的笔记本中，计划让提前出狱的难友带出去发表。
为安全起见，他们将长达500页的手稿分三处埋在监狱的花园里。1975年，狱方为了加强对不同集中营的政治犯的隔离，决定在花园里建立一排栏杆，以加固已有的围墙。尽管曼德拉等人及时转移了两捆手稿，第三捆还是被狱方发现了，曼德拉等人被剥夺学习权利整整四年。
监狱里组建的“高层机构”
在罗本岛服役三年后，经过不懈的抗争，监狱的条件有了不少改善，政治犯们在劳动时可以自由谈话而不会被看守打断。在这种情况下，曼德拉、西苏鲁等非国大执行委员商讨后决定，在狱中秘密建立一个非国大机构，以配合流亡在外的非国大的反种族主义斗争。
这个组织的正式名称是“高层机构”，其成员都是关押在罗本岛的非国大成员。曼德拉担任该机构的最高负责人，他和其他三位非国大全国执行委员组成常务委员会。其他成员按照牢房所在的区域，划分成若干小组，每组指定一名成员为组长，负责联络和召集工作。
“高层机构”作出的第一个决定是：狱内的组织不去影响狱外的非国大组织的决策。曼德拉认为，他们在狱中对外界的形势知之甚少，若对自己不了解的事进行指导，既不公正又不明智，因此，“高层机构”只对狱中生活的一切，如申诉、斗争、通信、食物等，作出应该作出的决定。
由于在狱中不可能召开经常性的大会，“高层机构”的活动便先由四位常委作出决定，然后分头传达给各小组长，再由组长传达给每一位组员。为了把消息和决定从常委们所在的B区传递到与之隔离的普通区G区和F区，“高层机构”特设了一个秘密的通信委员会，专门负责传递信息。
曼德拉和非国大成员通过各种方式互相鼓励，始终保持高昂的斗志。
