A Casa Branca foi primeiramente tornada branca porque uma cal à base de cal foi usada em 1798 quando suas paredes foram concluídas. A cal ajudou a proteger a pedra porosa da Casa Branca do congelamento.
Não se sabe explicitamente por que a Casa Branca foi posteriormente pintada de branco, mas pode muito bem ser que, à medida que a cal desbotou, ela começou a ficar suja.
A Casa Branca começou como um apelido para a residência do presidente no início da história americana. Em 1812, o congressista Bigelow escreveu uma carta a um colega, referindo-se ao fato de eles chamarem a mansão do presidente de "Casa Branca". Em 1901, Theodore Roosevelt fez da Casa Branca o nome oficial da casa do presidente.