Andrew Jackson teve várias brigas com John Calhoun que surgiram de origens sociais e políticas. Jackson não concordou com a maneira como a esposa de John Eaton, o secretário de guerra de Jackson, foi tratada pelas esposas e filhas dos oficiais do gabinete, incluindo a esposa de Calhoun; eles desprezavam a esposa de Eaton e isso lembrava a Jackson o tratamento que sua própria esposa, Rachel, havia recebido do mesmo grupo. Politicamente, os dois homens discordaram sobre a questão dos direitos dos estados, com Calhoun e o partido dos direitos dos seus estados tentando fazer com que Jackson apoiasse seus pontos de vista.
A animosidade pessoal entre Jackson e Calhoun girava em torno dos maus-tratos à esposa de seu secretário de guerra. Eles também fofocaram sobre ela. Isso deixou Jackson inflamado, já que sua esposa também foi tratada como uma pessoa de classe inferior pelo mesmo círculo social.
Em uma festa de aniversário de Thomas Jefferson em 1832, Calhoun e outros em seu acampamento fizeram brindes na tentativa de estabelecer uma conexão entre a anulação e a visão dos direitos dos estados sobre o governo. Jackson não aderiu, mas, em vez disso, brindou com a união federal e observou que ela deveria ser preservada, e essencialmente humilhou Calhoun, que era seu vice-presidente, publicamente. Calhoun acabou renunciando ao cargo de vice-presidente.
