O sorvete chegou à Casa Branca através dos europeus, quando membros de famílias reais apresentaram aos americanos da alta sociedade a guloseima cremosa no século XVIII. O sorvete apareceu na Casa Branca ao lado do primeiro presidente, George Washington. No entanto, ele ganhou popularidade com o quarto presidente James Madison e sua esposa Dolly, que tinha uma afinidade com sorvete.
Embora agora seja um deleite popular entre os americanos de todas as classes socioeconômicas, o sorvete já foi caro e relativamente raro, tornando-se uma sobremesa para cidadãos ricos. Na Europa, o sorvete em sua forma moderna nem chegou às massas até os anos 1600, quando surgiu na Itália. Por volta de 1700, porém, o sorvete e outras novidades congeladas, como gelato e sorvete, gozavam de popularidade entre os aristocratas europeus. A guloseima congelada chegou aos Estados Unidos no início de 1700, e a primeira sorveteria foi inaugurada em 1790. A Casa Branca e muitas propriedades tinham até máquinas de sorvete internas.
Na época colonial, o sorvete vinha em diferentes sabores. Alguns, como aspargos, parmesão e sorvete de ostra, eram populares entre as famílias da Casa Branca, incluindo os Madisons, mas nunca tiveram ampla aceitação. Outros, como sorvete de baunilha, continuam bastante populares, assim como coberturas como frutas vermelhas e creme.
