Pharell Williams are patru frați: Cato, Psolomon, Faraon și David. Faraon Williams III și David Williams sunt frații săi de la prima căsătorie a tatălui său cu Vanessa T. Williams. Cato, Psolomon și Pharell au tot același tată și mamă, Pharaoh Williams și Carolyn Williams.
Cato Williams este un skateboarder profesionist, în timp ce David Williams este vânzător în Delaware. Pharell este fiul cel mai mare; el este cu 10 ani mai în vârstă decât Cato și cu 20 de ani mai mare decât Psolomon. A crescut cu frații săi în Virginia Beach, Virginia. Pharell Williams este căsătorit cu Helen Lasichanh, iar cuplul are un fiu, Rocket Williams.
