James Madison teve três irmãos e três irmãs que viveram até a idade adulta: Francis, Ambrose, Nelly, William, Sarah e Frances. Seus pais tiveram um total de 12 filhos. Cinco dos irmãos de Madison morreram quando bebês ou crianças.
O irmão de Madison, Francis, era um fazendeiro em Orange County, Virgínia. Seu irmão Ambrose era capitão da milícia da Virgínia. Ele também era fazendeiro e supervisionava os interesses da família em Orange County. William Madison serviu durante a Guerra Revolucionária. Ele também era advogado e atuou na legislatura da Virgínia. Todas as três irmãs de Madison, Nelly, Sarah e Frances, se casaram já adultas.
