Kennedy a fost fiul lui Joseph P. Kennedy și Rose Fitzgerald Kennedy. Kennedys și Fitzgeralds erau ambele familii catolice irlandeze. Bunicul său maternal a servit ca primar al Bostonului, iar bunicul său paternal era un comerciant bogat și bancher. Kennedy a fost numit după bunicul său matern, John E. Fitzgerald.
Kennedy nu a fost un copil sănătos și a suferit o varietate de boli. Când avea aproape 3 ani, Kennedy a contractat scarlatina și a petrecut o lună în spital. Boala aproape și-a luat viața.