Não existe uma pessoa específica que tenha sido identificada como o inventor do xilofone. Os xilofones podem ser rastreados até terem sido inventados na Ásia e na África. Algumas evidências sugerem que o instrumento se originou na Indonésia; no entanto, a maioria dos especialistas desconsidera as evidências.
O xilofone remonta ao século 9 no sudeste da Ásia. Embora o xilofone já exista há milhares de anos, sua primeira entrada em um dicionário ocorreu no século XIX. Em grego, xilofone significa "som de madeira". Alguns xilofones modernos têm barras de metal que são golpeadas com um martelo para produzir som. No entanto, as versões antigas eram feitas de madeira.