Principalul lucru negativ pe care Andrew Jackson îl amintește este relocarea forțată a multor americani nativi, în special în partea sud-estică a Statelor Unite. El a declanșat, de asemenea, o depresiune economică, refuzând să reînnoiască charta celei de-a doua bănci a Statelor Unite și apoi instituind politici de control al inflației care au declanșat o panică, dar aceasta a fost în primul rând învinuită de succesorul său, Martin Van Buren.
În 1830, Jackson a semnat Legea privind eliminarea indiană, pe care a lucrat-o pentru a impinge prin Congres. Acest act ia permis să negocieze tratatele de îndepărtare cu triburile americane indigene, pe care Curtea Supremă de Justiție le-a pronunțat, nu li sa permis să-și dețină în mod legal propriile terenuri ancestrale. Jackson credea că americanii indigeni erau inferiori colonilor albi și doreau să-i forțeze la vest de Mississippi. El credea că Statele Unite nu se vor extinde peste această graniță, așa că americanii nativi se puteau guverna singuriRezultatul a fost că multe triburi au fost înșelate sau forțate de pe terenurile lor dacă refuzau să plece de bună voie, ducând la multe decese de la bătăi de cap cu soldați, precum și de foame și boală. Cherokeii în particular au fost forțați să se supună unui marș forțat care a devenit cunoscut sub numele de "Traseul de lacrimi". Ei au fost forțați de pe pământ atât de repede încât nu au reușit să strângă provizii adecvate, iar peste 4.000 de cheroci au murit din cauza malnutriției și expunerii. Jackson a supravegheat îndepărtarea a peste 46.000 de americani nativi din ținuturile lor.
