A casca do caju tem o mesmo formato da semente inteira, comumente chamada de castanha. A casca tem uma superfície lisa. As cascas das sementes de caju prontas para colher são de cor bege. As cascas das sementes verdes do caju são verdes.
Os cajus são processados na fábrica, em vez de vendidos aos consumidores para descasque, porque as cascas contêm toxinas poderosas semelhantes às encontradas na hera venenosa. O processo de torra mata as toxinas das castanhas de caju, o que as torna adequadas para o consumo. A natureza tóxica da casca do caju tem benefícios, já que o óleo da casca é usado como ingrediente em produtos inseticidas e fungicidas.
