Andrew Jackson a avut diverse confuzii cu John Calhoun care au apărut din origini sociale și politice. Jackson nu a fost de acord cu modul în care soția lui John Eaton, secretarul de război al lui Jackson, a fost tratată de nevestele și fiicele ofițerilor cabinetului, inclusiv soția lui Calhoun; au privit pe soția lui Eaton și i-au reamintit lui Jackson tratamentul pe care îl primise propria soție, Rachel, din partea aceluiași grup. Din punct de vedere politic, cei doi bărbați nu au fost de acord cu privire la chestiunea drepturilor statelor, în timp ce Calhoun și partidul pentru drepturile sale de state încearcă să-l prindă pe Jackson în susținerea opiniilor lor.
Animozitatea personală între Jackson și Calhoun sa revoltat în jurul maltratării soției secretarului de război. Ei au bârfit despre ea. Acest lucru ia inflamat pe Jackson, deoarece soția lui a fost tratată și ca o persoană de clasă mai mică, în același cerc social.
La o celebrare a zilei de naștere pentru Thomas Jefferson în 1832, Calhoun și alții din tabăra lui au făcut toasturi în încercarea de a stabili o legătură între opinia guvernării privind anularea și statul. Jackson nu sa alăturat, ci a dat un toast unității federale și a remarcat că trebuie păstrat și, în mod fundamental, la umilit pe Calhoun, care era vicepreședinte, în mod public. Calhoun a demisionat în cele din urmă postul său vicepreședinte.