A primeira esposa de James Arness foi Virginia Chapman. James Arness casou-se com Virginia Chapman em 1948 e o casal se divorciou em 1963. Chapman morreu de overdose de drogas em 1977, em Malibu, Califórnia. O casal teve três filhos: Jenny Lee, Rolf e Craig.
A única filha do casal, Jenny Lee Arness, cometeu suicídio aos 25 anos de idade. O filho do casal, Rolf Arness, se tornou campeão mundial de surfe em 1970.
Chapman foi uma atriz famosa conhecida por seus papéis em "Perry Mason", "Highway Patrol" e "Gunsmoke". James Arness interpretou Matt Dillon no programa de televisão "Gunsmoke" por 20 anos.