Walker sa recăsătorit în 1974 cu Giselle Hennesy. Cele două au fost împreună până la moartea lui Giselle în 1994. Walker sa recăsătorit încă o dată cu Susan Cavallari în 1997. În 2015, cuplul este încă împreună. Locuiesc în Grass Valley din județul Nevada din California de Est.
Înainte de a deveni o stea de film, Walker a lucrat într-o fabrică și pe o barcă de râu, apoi a intrat în Merchant Marines. Mai târziu, el a lucrat la locuri de muncă ciudate în Texas, California și Nevada, înainte de a-și prinde pauza când a fost descoperit de Henry Willson. Walker a debutat într-un film Bowery Boys numit "Jungle Gents".
Walker a asigurat rolul principal în seria de televiziune "Cheyenne". Spectacolul îl face cunoscut și îl lansează în industria cinematografică.