As paredes externas da Casa Branca são feitas de arenito Aquia Creek pintado de branco que foi extraído por escravos. Esta é a mesma pedra usada para construir o edifício do Capitólio.
James Hoban projetou a Casa Branca após vencer um concurso que Thomas Jefferson, então secretário de Estado, e o presidente George Washington organizaram em 1792. Hoban nasceu na Irlanda e formou-se arquiteto lá. Diz a lenda que Jefferson, ele mesmo um arquiteto, entrou no concurso com um pseudônimo e perdeu. A Casa Branca foi renovada várias vezes desde que foi construída; no entanto, as paredes externas são as mesmas que foram construídas inicialmente.
