Piatra de temelie a Casei Albe a fost pusă pe 13 octombrie 1792. Primul președinte al Statelor Unite care a ocupat Casa Albă a fost John Adams, care sa mutat în structura incompletă din 1800.
Casa Albă, inițial numită Conacul Executiv, a fost proiectată de imigrantul irlandez James Hoban. În timpul războiului din 1812, trupele britanice au ars Casa Albă la pământ. A fost reconstruit folosind designul lui Hoban și extins. Președintele James Monroe a fost primul președinte din S.U.A. care a ocupat Casa Albă reconstruită în 1817. Primul președinte care se referă oficial la casa directorului executiv al casei albe a fost Theodore Roosevelt în 1901.
