Os pais de James Madison eram Nelly Conway Madison e o coronel James Madison, o Sr. James Madison nasceu em 1751. James Madson, Sr. se casou com Nelly Conway em 1749, e o casal teve 12 filhos. James, que era o primeiro filho, era o quarto presidente dos Estados Unidos.
A família Madison estava entre as famílias mais antigas e prestigiadas da Virgínia. O pai de Madison era um proeminente produtor de tabaco na Virgínia que cresceu em uma propriedade em Orange Country, Virgínia, que mais tarde herdou. A mãe de Madison era filha de um proeminente comerciante de tabaco. Ela nasceu em 1731 na Virgínia.
