Rochas conglomeradas são formadas pelo processo de rocha sedimentar, que é: erosão, transporte, deposição e cimentação. Duas propriedades características da rocha conglomerada são que as partículas sedimentares, ou clastos, são maiores que 2 milímetros de tamanho, e os clastos são arredondados na aparência. Rochas sedimentares com clastos angulares são diferenciadas de conglomerados e são chamadas de brechas.
Conglomerados, como outras rochas sedimentares, são formados a partir dos detritos das rochas geradoras, que resultam do intemperismo e da erosão. Conforme os pedaços de rocha geradora caem, eles são transportados para outros locais onde são depositados em camadas. No caso dos conglomerados, o transporte aquático faz com que os clastos assumam a forma arredondada. À medida que as camadas sedimentares se acumulam no estágio do processo de formação denominado deposição, a pressão compacta as camadas inferiores.
A etapa final do processo é a cimentação. Isso se refere ao desenvolvimento de novos minerais entre as partículas sedimentares compactadas e em camadas. Esses novos crescimentos minerais unem as partículas. O processo é auxiliado pela água que entra pelos poros nas camadas sedimentares e se deposita minerais, como carbonato de cálcio ou sílica, entre as partículas. Os precipitados de origem aquosa agem como cimento e também diminuem a porosidade, ou o grau de espaço aberto, entre as partículas sedimentares até que uma nova rocha endurecida seja formada.