În timp ce Roy Clark sa născut în Virginia, el a crescut în New York, petrecând cea mai mare parte a timpului în Washington, DC De la o vârstă fragedă, avea un fond muzical puternic, iar până la vârsta de 14 ani a început să joace mandolina, chitara si banjo. Prin dedicarea sa muzicii sale, el a câștigat două campionate naționale banjo. În timp ce-și urmărea cariera muzicală, a urmat și o carieră sportivă, încercând ca jucător de baseball, apoi un boxer. În cele din urmă, el a decis să se concentreze pe abilitățile sale muzicale, și el a făcut prima apariție pe Grand Ole Opry atunci când el a fost doar 17.
La mijlocul anilor 1950, Roy Clark a jucat în mod regulat la emisiunea de televiziune a lui Jimmy Dean, dar în cele din urmă Dean la concediat pentru întârzierea sa. Cu toate acestea, cariera muzicală a lui Roy Clark nu sa terminat acolo și a jucat pentru Wanda Jackson în anii 1960. În această perioadă, și-a urmărit cariera solo. În 1963, el a semnat cu Capitol Records și a înregistrat mai multe hit-uri înainte de a fi înregistrat pentru ABC Records.