Os materiais usados para construir castelos incluem terra, madeira e pedra. Os castelos Motte-and-bailey eram feitos de terra e madeira, mas devido às deficiências desses castelos, castelos de pedra foram criados.
Os castelos de motte e bailey foram construídos em um motte, que é uma colina feita pelo homem. O pátio, um nome para uma grande área de terra, ficava próximo ao motte e era o local da maioria das atividades do castelo. O tamanho desses castelos era limitado devido à fragilidade da madeira como material de construção. A madeira também apodrecia, principalmente quando chovia, e era fácil para os inimigos queimarem. Se muito peso estivesse no motte, ele desabou.
Os castelos de pedra eram mais duráveis porque a pedra não apodrece e é muito mais resistente do que a madeira. Esses castelos foram construídos mais altos do que os castelos de madeira, permitindo que os que estivessem dentro vissem por quilômetros. As paredes eram mais grossas e os castelos maiores, o que lhes permitia manter mais soldados.
Os castelos tinham várias características defensivas. Uma machicolagem, ou buraco assassino, foi construída acima da entrada principal do castelo. Os soldados perto do buraco podem derramar água fervente sobre os invasores. Uma fortaleza era uma torre construída no centro do castelo. Os soldados podem atirar em atacantes da fortaleza. A terra ao redor de certos castelos era chamada de "campo de morte", porque os invasores não tinham onde se esconder.