Deși George Washington a ales site-ul Casei Albe în 1791, el nu a trăit niciodată acolo. Începând cu 2014, este singurul președinte care nu locuiește în Casa Albă.
John Adams și familia sa au fost prima familie prezidențială care trăia în Casa Albă. În 1814, britanicii au dat foc casei; a fost reconstruit. În 1817, James Monroe sa mutat. Harry S. Truman a început restaurarea Casei Albe și sa mutat înapoi în Casa Albă în 1952.
În cadrul unor președinți, Casa Albă a trecut prin construcție, care nu impunea ca prima familie să se mute. Theodore Roosevelt a avut birourile președintelui mutate în West Wing și William Howard Taft a construit Oval Office.
