监狱里组建的“高层机构”
在罗本岛服役三年后，经过不懈的抗争，监狱的条件有了不少改善，政治犯们在劳动时可以自由谈话而不会被看守打断。在这种情况下，曼德拉、西苏鲁等非国大执行委员商讨后决定，在狱中秘密建立一个非国大机构，以配合流亡在外的非国大的反种族主义斗争。
这个组织的正式名称是“高层机构”，其成员都是关押在罗本岛的非国大成员。曼德拉担任该机构的最高负责人，他和其他三位非国大全国执行委员组成常务委员会。其他成员按照牢房所在的区域，划分成若干小组，每组指定一名成员为组长，负责联络和召集工作。
“高层机构”作出的第一个决定是：狱内的组织不去影响狱外的非国大组织的决策。曼德拉认为，他们在狱中对外界的形势知之甚少，若对自己不了解的事进行指导，既不公正又不明智，因此，“高层机构”只对狱中生活的一切，如申诉、斗争、通信、食物等，作出应该作出的决定。
由于在狱中不可能召开经常性的大会，“高层机构”的活动便先由四位常委作出决定，然后分头传达给各小组长，再由组长传达给每一位组员。为了把消息和决定从常委们所在的B区传递到与之隔离的普通区G区和F区，“高层机构”特设了一个秘密的通信委员会，专门负责传递信息。
曼德拉和非国大成员通过各种方式互相鼓励，始终保持高昂的斗志。
“比亲兄弟还亲”的白人看守
对于监狱的看守和警官来说，他们从未见过曼德拉这种自信而有尊严的囚犯，并且，他还是一个黑人。
曼德拉的行为成功地改变了他们的态度。他会在早上试着同监狱长握手，会说早上好，还问他们妻子和孩子的情况。曼德拉总是以礼相待，特别是对有些年轻的看守，他就像父亲一样。有些看守还帮助曼德拉等人传递信息，有的甚至还同他建立了深厚的情感。曼德拉和白人看守詹姆斯·格列高里的深厚情谊即是一例。
看守曼德拉整整20年的白人格列高里起初认为，曼德拉是一个“恐怖分子”。渐渐地，他被曼德拉身上某种东西触动了。后来他回忆说：“我那时对他们那些黑人领袖仍持有偏见，认为像政府宣传的那样，他们要杀害我们的家人，夺走我们的家园，实行多数黑人统治。通过一段时间的接触，我发现曼德拉是位天生的领袖人物，我开始尊敬他。”
曼德拉被列为罗本岛的“头号政治犯”，但他自始至终都很温和。在格列高里记忆中，20年里，他只见曼德拉发过一次火。一次，一个白人看守讥笑曼德拉是个“白白浪费时间的黑种”，那时曼德拉正在狱中攻读法律硕士学位课程。当时，曼德拉的声音都发抖了，他对那个白人看守说：“你身上只有这一件制服让我尊重，别以为有朝一日你的白皮肤会救你。”
在曼德拉周围的15个白人看守中，格列高里是唯一能和他谈心的。他俩经常在狱中花园内安静的一角，坐在一棵橡胶树下交谈。他们从不为政治问题争执，彼此尊重各自的意见。他们两人的儿子均死于车祸，相同的不幸遭遇使他们的心理距离更近了。曼德拉向格列高里倾诉内心的感受，甚至以家事相托。一段时间里，格列高里甚至成了曼德拉在家的代表。当曼德拉因小儿子马克加索不肯上学而焦急不安时，是格列高里出面，硬是把孩子送到学校，以后，又送他上了大学。而曼德拉这位黑人领袖也成了格列高里儿子的教父。在他俩之间，肤色的障碍已不存在了，正如他俩所说：“我们比亲兄弟还亲”。
然而，这种不寻常的友谊在白人看守中引起种种议论。一些人说：“格列高里和他的犯人居然成了好朋友。”格列高里开始承受种族主义者的侮辱。他们中有的称他为“黑人们的情人”，有的则往格列高里家里打匿名电话，甚至有人扬言要在街上打死他。种种威胁使监狱当局十分紧张，他们甚至不得不为格列高里配备保镖。
格列高里至今还保存着曼德拉临出狱前与他的合影，以及一张曼德拉亲笔写给他的卡片：
