Roy Clark é filho de dois músicos amadores, mas até 2015, não há informações sobre seus pais ou familiares fora de sua esposa. Ele se casou com Barbara Joyce Rupard em 1957.
Enquanto Roy Clark nasceu na Virgínia, ele cresceu em Nova York, passando a maior parte do tempo em Washington, DC Desde muito jovem, ele teve uma forte formação musical e, aos 14 anos, começou a tocar o bandolim, violão e banjo. Com sua dedicação à música, conquistou dois campeonatos nacionais de banjo. Enquanto seguia sua carreira musical, ele também seguiu a carreira esportiva, fazendo testes como jogador de beisebol e depois boxeador. Eventualmente, ele decidiu se concentrar em suas habilidades musicais e fez sua primeira aparição no Grand Ole Opry quando tinha apenas 17 anos.
Em meados da década de 1950, Roy Clark se apresentava regularmente no programa de TV de Jimmy Dean, mas Dean acabou demitindo-o por seu atraso. No entanto, a carreira musical de Roy Clark não terminou aí, e ele tocou para Wanda Jackson durante os anos 1960. Durante esse tempo, ele também seguiu sua carreira solo. Em 1963, ele assinou com a Capitol Records e gravou vários sucessos antes de passar a gravar para a ABC Records.
