Carbonul a fost descoperit pentru prima dată în preistoric ca cărbune. A devenit recunoscut ca element în secolul al 17-lea, după ce Robert Boyle a clasificat un element ca o substanță care nu putea fi descompusă în substanțe mai simple.
Carbonul a fost numit de omul de știință francez Antoine Lavoisier, deoarece a efectuat o varietate de experimente pentru a-și dezvălui proprietățile. Într-unul din experimentele sale, Lavoisier a folosit o lupă pentru a focaliza razele soarelui pe un diamant și a văzut arsul diamantului și a dispărut. El a observat diamantul combinat cu oxigenul pentru a forma dioxid de carbon, ceea ce la determinat să concluzioneze că diamantul și cărbunele au fost făcute din carbon.
În 1770, Carl Wilhelm Scheele a arătat că grafitul a ars, de asemenea, pentru a forma dioxid de carbon și, prin urmare, a descoperit o altă formă de carbon. O altă formă de carbon, fulleren, a fost descoperită în 1985 de Robert Curl, Harry Kroto și Richard Smalley. Fullerene a fost numit și "buckminsterfullerene", deoarece moleculele sale seamănă cu cupolele geodezice proiectate de arhitectul Buckminster Fuller pentru Târgul Mondial din 1967. Cea mai recent descoperită formă de carbon este grafenul, care constă dintr-un singur strat de atomi de carbon dispuși în hexagoane. Graphene a fost descoperit în 2004 de Kostya Novoselov și Andre Geim, care au folosit bandă adezivă pentru a detașa un singur strat de atomi din grafit pentru a produce această formă de carbon.