A terra onde fica Jerusalém, assim como a própria cidade, tem historicamente um grande significado para os judeus por causa dos eventos importantes que aconteceram lá. O patriarca dos judeus, Abraão, foi pedido por Deus para sacrificar seu único filho no Monte Moriá, que fica na atual Jerusalém.
Mais tarde, durante o tempo de Moisés, Deus ajudou Moisés a remover os filhos de Israel (os judeus) da escravidão no Egito, e Deus prometeu aos judeus uma terra prometida, que mana leite e mel. Aqueles que deixaram o Egito tiveram algumas crises de fé que resultaram em uma longa jornada pelo deserto, mas por fim foram ordenados a ir para a terra que se tornaria Israel (e Jerusalém se tornaria a capital). Algum tempo depois que os filhos de Israel tomaram a terra, Deus deu a eles o Rei Davi, que amava a Deus e queria construir um templo para Deus em Jerusalém no qual as pessoas pudessem adorá-Lo. No entanto, seria o filho de Davi, Salomão, quem construiria o templo. Deus veio habitar na parte do templo chamada de "Santo dos Santos". Como na época em que estiveram no Egito, os filhos de Israel tiveram mais crises de fé, muitas vezes abandonando Deus pelas divindades locais e não seguindo os mandamentos que Deus lhes havia dado. Como resultado, Deus os enviou para o cativeiro na Babilônia por 70 anos. Por fim, eles voltaram a Jerusalém e reconstruíram o templo, que havia sido destruído. A reconstrução não foi tão boa quanto o templo original, mas durou até cerca de 70 anos após o nascimento de Jesus Cristo, quando os romanos o destruíram. O Antigo Testamento da Bíblia descreve todos esses e outros eventos, que demonstram por que Jerusalém é tão importante para os judeus.
