Apesar de sua cor rica, o bolo de veludo vermelho possui um sabor de chocolate muito suave. Os bolos de veludo vermelho usam uma pequena quantidade de cacau em pó e alguns pedem leitelho e baunilha ou outros extratos, que podem varie o sabor.
Os sabores exatos do bolo podem mudar conforme a receita, dependendo do uso de extratos, como baunilha ou cítricos, do tipo e da quantidade de cacau em pó e do uso de leitelho no bolo.
As receitas modernas de bolo de veludo vermelho costumam exigir grandes quantidades de corante alimentar vermelho, e isso pode afetar o sabor. Essas receitas costumam usar quantidades menores de cacau processado na Holanda, pois isso pode fazer com que o bolo fique marrom em vez de vermelho.
Algumas receitas usam uma pequena quantidade de cacau em pó natural combinada com um ingrediente ácido, como leitelho ou vinagre, para produzir uma cor vermelha natural.
