“那天，我穿上短裤，但我发誓：我穿着它的日子不会很长。”
四天后，曼德拉等人又被押送到罗本岛的“狱中之狱”——一座特别为关押政治犯而营造的新监狱。当局这么做是为防止“危险”的政治犯将其政治观点传染给普通犯人。这座长方形的石头堡垒，中间是一个平坦的水泥院落，三面是牢房，另一面是20英尺高的墙，墙中间是一条狭窄的过道，有牵着德国狼狗的哨兵昼夜巡逻把守，可谓“插翅难逃”。
曼德拉拿着刚发的三条薄得几乎透明的毯子，跟在白人看守后面，穿过长长的走廊，来到尽头的单间牢房。牢房门口挂着一块牌子，上面写着：N·曼德拉，466／64，表示他是这个岛上1964年以来接受的第466名囚犯。牢房里霉湿气味扑鼻，且十分狭小，只有三步长、两米宽，躺下时双脚会碰到墙壁，头则紧挨着另一面墙，是名副其实的“牢笼”。
监狱有一套不成文的狱规，每位犯人必须严格遵守，否则将受到重惩。狱规要求犯人上衣的三粒钮扣必须扣上，在狱警经过时必须脱帽致意。如果钮扣没扣好，帽子没来得及脱，或没有把牢房打扫干净，受到的惩罚是关禁闭和不准吃饭。曼德拉上岛后不久，就尝到了这个苦头。
一天，曼德拉在长凳上发现一张报纸。没有多思忖，他迅速捡起报纸，趁无人之际塞进衬衫里。作为政治犯，曼德拉不准获得外界的任何消息。这张意外得来的报纸对与世隔绝数月的曼德拉来说，无异于一顿“美餐”。他回到牢房，如饥似渴地阅读起来，根本没听到那渐渐逼近的脚步声。等他意识到一位看守出现在自己面前时，已来不及藏报纸了。结果，他因私自拥有违禁品，被罚禁闭三天、禁食三天。以后，类似的惩罚成了他的家常便饭。
岛上犯人的生活十分规律，近乎机械化。由于不允许携带任何计时器，囚犯们根本无法知道准确时间，吃饭、劳动和睡觉都由看守们通知。久而久之，他们连记忆月份和日子也困难了。这正是当局欲在精神上麻痹犯人的一种手段。不过，这一招在曼德拉身上没有灵验。他来罗本岛后所做的第一件事就是在自己牢房的墙壁上自制一个日历，使自己生活得像个正常人。
