1918年7月18日,曼德拉出生在南非东凯普省的一个偏僻小村庄穆维佐,父亲是泰姆布王朝穆维佐部落酋长。1938年,曼德拉进入黑尔堡大学攻读文学学士学位,在校期间,他热衷政治辩论,深受印度民族运动领袖甘地非暴力不合作不合作理念的影响。由于抵制学校一场选举而遭退学处分。他的监护人达林戴波大酋长让曼德拉娶妻成家,回乡继承酋长职位,处理部落政务,曼德拉再次拒绝,并宣布放弃自己的酋长继承权,毅然离家出走,只身前往约翰内斯堡。
在约翰内斯堡,曼德拉深刻体会到了种族隔离的社会现实,也接触到越来越多的黑人活动人士。1944年他加入主张非暴力斗争的南非非洲人国民大会 (简称非国大),并与其他年轻人一道,共同建立了非国大“青年联盟”。1952年年底,他成功地组织并领导了“蔑视不公正法令运动”,赢得了全体黑人的尊敬。为此,南非当局曾两次发出不准他参加公众集会的禁令。他和后来的非洲人国民大会主席奥利弗坦博一起,在约翰内斯堡开设了南非第一家黑人律师事务所,为请不起辩护律师的黑人提供免费或者低价的法律咨询服务。与此同时,他在非国大的领导地位也不断受到认可。
但当时种族隔离的形势不断恶化。1958年9月,亨德里克弗伦施维沃尔德出任南非首相,并执政期间出台了“班图斯坦法”,此举将1000余万非洲黑人限制在12.5%的南非国土中,并且同时在国内实行强化通行证制度,激化了南非黑人与白人的冲突。1961年,曼德拉意识到非国大以前采取的非暴力运动不能为黑人争取到应有的权力,于是他创建了非国大军事组织“民族之矛”,并担任总司令,计划用武装斗争的方式来对抗政府的暴力镇压。
1956年12月28日,包括曼德拉在内的152名反种族隔离分子,在约翰内斯堡审判。南非非洲人国民大会(ANC)的支持者向囚车里的反种族隔离者竖起大拇指。
1962年8月,曼德拉被捕入狱,当时他已经44岁。南非政府以政治煽动和非法越境罪判处他5年监禁。1964年6月,他又被指控犯有阴谋颠覆罪而改判为无期徒刑。曼德拉在被判永久监禁的那场庭讯中发表了一个长达4小时的声明。最后,他向法庭表示,他的最高理想是建立一个人人有平等机会、和谐共处的自由民主社会。他愿意为实现这个理想牺牲自己。