Os irmãos do presidente James Madison incluem o General William Taylor Madison; Capitão William Ambrose Madison, Sr .; Eleanor "Nellie" Conway Hite (Madison); Frances "Fanny" Rose (Madison); Mollie Davis; Francis Taylor Madison; Robert Cole Madison; Sarah Catlett Madison; Elizabeth Madison; Catlett Madison; Reuben Madison; e John Madison. Dois de seus irmãos morreram quando crianças.
O presidente Madison nasceu como James Madison Jr., filho primogênito de James Madison, Sênior, e Nelly Conway Madison. James passou sua infância em Montpelier, propriedade de sua família na Virgínia. Aos 12 anos, ele foi para a escola de Donald Robertson, onde aprendeu latim e grego e estudou aritmética e geografia. Ele obteve seu diploma de bacharel no College of New Jersey.
