A cor original da Casa Branca era o branco. De acordo com a Associação Histórica da Casa Branca, quando as paredes foram concluídas em 1798, elas foram caiadas para evitar que a pedra congelasse no inverno.
As paredes da Casa Branca foram caiadas dois anos antes de o presidente John Adams e sua esposa Abigail se mudarem para o prédio como seus primeiros residentes em 1800. De acordo com uma história freqüentemente contada, mas errônea, a Casa Branca foi pintada de branco em 1814 , depois de ter sido incendiada pelos britânicos durante a Guerra de 1812. Embora haja evidências de que a casa do presidente foi chamada de Casa Branca já em 1812, Theodore Roosevelt tornou o nome oficial em setembro de 1901.