公元前1025年，犹太人在巴勒斯坦建立了统一的希伯来王国。希伯来王国后来分裂为两个国家，北部称以色列王国，南部称犹太王国。公元前586年，继亚述帝国消灭以色列王国百余年后，东方新崛起的巴比伦王国占领犹太王国，巴比伦国王尼布甲尼撒二世下令把数万名犹太人作为俘虏押回巴比伦，开始了犹太历史上的“巴比伦之囚”时代。这是犹太人的第一次大流散，从而结束了犹太人在巴勒斯坦立国的历史。
公元前332年，马其顿王亚历山大征服西亚大片土地，并攻占耶路撒冷。犹太人从此也逐渐疏散到南欧、北非和中亚等地区，这可说是犹太人的第二次大流散。
犹太人的第三次大流散是在罗马帝国期间。公元前二世纪初，罗马帝国不断强盛，并向东大力扩张，于公元前63年先后侵占了耶路撒冷和整个巴勒斯坦地区。犹太人为反抗罗马人的入侵，曾举行了三次武装起义，史称“犹太战争”。特别是公元115年的最后一次起义，把罗马驻军赶出了巴勒斯坦南部，并占领耶路撒冷。但起义于公元135年失败。经过三次大起义和三次大屠杀，犹太人死亡150多万人，幸存者几乎全部逃离和被驱逐出巴勒斯坦，从而结束了犹太民族主体在巴勒斯坦生存的历史。犹太人由此变成了一个没有祖国的民族。
公元7世纪，出生在阿拉伯半岛的穆罕默德创立了伊斯兰教，并统一了分散在半岛上的各民族和部落，后又建立了统一的阿拉伯帝国。公元637年，巴勒斯坦并入帝国后，其居民、宗教、文化逐渐阿拉伯化，形成巴勒斯坦阿拉伯人。1300多年来，他们在这一地区劳动生息，成为这块土地的主人。
在伊斯兰教兴起以前，阿拉伯半岛上的犹太人与阿拉伯人关系比较友好。伊斯兰教先知穆罕默德最初也接受犹太教的旧约《圣经》，把犹太人称为“有经的民族”。他期望当地的犹太人能够皈依伊斯兰教，在遭到拒绝后，穆罕默德态度变得强硬起来，认为犹太人偏离了真正的宗教。穆斯林开始把犹太人视为渎神者和堕落者，进一步将犹太人逐出阿拉伯半岛，穆斯林祈祷时面向的方向也从耶路撒冷转向了麦加。
“应该把地球的某一部分的主权授予我们”
犹太人在公元一、二世纪起离开巴勒斯坦之后，流散到世界各地，在长达一千多年的漫长岁月中，他们的处境很悲惨。中世纪欧洲各国，基督教居于统治地位，而犹太教被视为异端邪说，他们对犹太人实行种族歧视、迫害甚至屠杀。