O Rummikub é jogado com regras semelhantes ao Rummy, exceto pelo uso de peças em vez de cartas. Os jogadores tentam criar corridas, consistindo de três ou mais peças numeradas consecutivas da mesma cor, ou grupos, que são três ou mais do mesmo número em cores diferentes.
Um jogo de Rummikub começa com cada jogador desenhando 14 peças e, em seguida, tentando criar corridas ou grupos. Os pontos são determinados pelos números nas peças, e o jogador deve fazer uma "fusão" inicial de 50 ou mais pontos para começar a colocar as peças. Por exemplo, um conjunto de um quatro, cinco e seis azuis vale 15 pontos, enquanto um conjunto de um seis azul, laranja e preto vale 18 pontos. Um jogador precisaria de mais 13 pontos para fazer uma combinação inicial.
Depois que um jogador colocou sua combinação de 50 pontos na mesa, ele pode começar a manipular e reorganizar as combinações. As combinações devem conter pelo menos três peças, mas podem ser quebradas para fazer novas combinações. Se um jogador não puder adicionar a uma combinação (seja ela própria ou de seus oponentes), ele deve pegar uma peça e encerrar seu turno.
O objetivo do jogo é terminar sem peças restantes para jogar.