Casa Albă a fost făcută pentru prima dată pe alb, deoarece o vară pe bază de calcar a fost folosită în 1798, când zidurile au fost finalizate. Vopseaua a ajutat la protejarea pietrei poroase a Casei Albe de îngheț.
Nu se știe de ce Casa albă a fost mai târziu pictată alb, dar ar putea fi că, odată ce vopseaua a dispărut, a început să pară murdară.
Casa Albă a început ca porecla pentru reședința președintelui la începutul istoriei americane. În 1812, congresmanul Bigelow a scris o scrisoare unui coleg, referindu-se la faptul că ei numesc conacul președintelui "Casa Albă". În 1901, Theodore Roosevelt a făcut Casa Albă numele oficial al casei președintelui.