James Spader e sua primeira esposa, Victoria Kheel, se divorciaram em 2004. Spader e Kheel se conheceram no início dos anos 1980 e se casaram em 1987. Durante as entrevistas após o divórcio, Spader se recusou a discutir a questão e a razão por trás do casal o divórcio é desconhecido.
Spader e Kheel tiveram dois filhos enquanto eram casados. Esses dois foram além do filho que Kheel teve de um relacionamento anterior que Spader ajudou a criar depois que ele e Kheel estiveram juntos.
Em 2014, Spader namorou a atriz Leslie Stefanson por quase toda a década desde seu divórcio de Kheel. Spader e Stefanson têm um filho juntos.
