A principal coisa negativa pela qual Andrew Jackson é lembrado é a relocação forçada de muitos nativos americanos, especialmente na parte sudeste dos Estados Unidos. Ele também desencadeou uma depressão econômica ao se recusar a renovar o contrato do Segundo Banco dos Estados Unidos e, em seguida, instituir políticas de controle da inflação que desencadearam o pânico, mas a culpa foi principalmente de seu sucessor, Martin Van Buren.
Em 1830, Jackson assinou a Lei de Remoção de Índios, que ele trabalhou para aprovar no Congresso. Este ato permitiu que ele negociasse tratados de remoção com tribos nativas americanas, que a Suprema Corte determinou que não tinham permissão para possuir legalmente suas terras ancestrais. Jackson acreditava que os nativos americanos eram inferiores aos colonos brancos e queria forçá-los a oeste do Mississippi. Ele acreditava que os Estados Unidos não iriam se expandir além dessa fronteira, então os nativos americanos poderiam governar a si próprios.
O resultado foi que muitas tribos foram enganadas ou forçadas a deixar suas terras se se recusassem a ir de boa vontade, resultando em muitas mortes por escaramuças com soldados, bem como por fome e doenças. Os Cherokee em particular foram forçados a passar por uma marcha forçada que ficou conhecida como a Trilha das Lágrimas. Eles foram forçados a deixar suas terras tão rapidamente que não foram capazes de reunir suprimentos adequados e mais de 4.000 Cherokees morreram de desnutrição e exposição. Jackson supervisionou a remoção de mais de 46.000 nativos americanos de suas terras.
