A forma moderna de gárgulas se originou na Idade Média, embora os primeiros usos das gárgulas possam ser rastreados até a Grécia e o Egito antigos. A palavra "gárgula" significa garganta, e seu original o objetivo era transportar a água da chuva para longe da lateral de um edifício para evitar a erosão.
Uma lenda francesa do século VII conta como São Romano salvou o país de Rouen de um Goji ou Gargouille. A lenda diz que São Romano subjugou a criatura com um crucifixo. A criatura foi então queimada e sua cabeça fixada na parede da igreja para afastar os maus espíritos.