Embora George Washington tenha escolhido o local da Casa Branca em 1791, ele nunca morou lá. Em 2014, ele é o único presidente que não residia na Casa Branca.
John Adams e sua família foram a primeira família presidencial a morar na Casa Branca. Em 1814, os britânicos colocaram fogo na casa; foi reconstruído. Em 1817, James Monroe mudou-se para cá. Harry S. Truman começou a restauração da Casa Branca e voltou para a Casa Branca em 1952.
Sob alguns presidentes, a Casa Branca passou por uma construção que não exigiu que a Primeira Família se mudasse. Theodore Roosevelt mandou mudar os escritórios do presidente para a ala oeste e William Howard Taft mandou construir o Salão Oval.
