Nu există o persoană specifică care a fost identificată ca inventator al xilofonului. Xilofoanele pot fi urmărite înapoi la inventarea lor atât în Asia cât și în Africa. Puține dovezi sugerează că instrumentul a provenit din Indonezia; cu toate acestea, majoritatea experților nu iau în considerare dovezile.
Xilofonul a fost urmărit în secolul al IX-lea în Asia de Sud-Est. Chiar dacă xilofonul a fost în jur de mii de ani, prima sa intrare într-un dicționar a avut loc în secolul al XIX-lea. În limba greacă, xilofonul înseamnă "sunet din lemn". Unele xilofoane moderne au bare metalice care sunt lovite cu un ciocan pentru a produce sunet. Cu toate acestea, versiunile antice au fost făcute din lemn.