O primeiro casamento de Jim Boeheim, que durou aproximadamente 18 anos, durou de 1976 a 1994. Sua primeira esposa foi Elaine Boeheim, com quem ele tem uma filha, Elizabeth, agora júnior no Colby College em Maine em 2015.
Boeheim, o atual técnico do time de basquete masculino da Syracuse University, agora é casado com Juli Boeheim, com quem tem três filhos: James Arthur III e os gêmeos Jack e Jamie. Os dois estão casados desde 1997. Depois que Boeheim sofreu de câncer em 2001, eles fundaram a Jim and Juli Boeheim Foundation juntos, que se dedica ao bem-estar infantil e ao tratamento e prevenção do câncer.
