A situação de moradia de um escravo dependia de seu trabalho e da situação social de seu proprietário. As famílias de classe média com poucos escravos geralmente permitem que os escravos residam em suas casas. Nas plantações e outras grandes propriedades, os escravos que trabalhavam no campo viviam em senzalas especiais. Cozinheiros e empregadas muitas vezes moravam nas mesmas casas que seus proprietários, normalmente em um quarto nos fundos ou sótão.
As empresas ferroviárias também usaram escravos para construir ferrovias. Como os escravos nas plantações, esses escravos tinham péssimas condições de vida. Suas camas não eram nada mais do que tábuas de pinho inclinadas e duras com um único cobertor. As cabines de escravos tinham chaminés mal construídas e normalmente não eram muito limpas devido às terríveis horas de trabalho exigidas dos escravos. Freqüentemente, os escravos eram obrigados a trabalhar desde o amanhecer até a noite. Muitos escravos entraram em colapso devido à exaustão. A comida deles geralmente era preparada por um colega escravo, mas suas rações eram escassas. Às vezes, a comida de um dia inteiro não passava de nabos e batatas.
Os proprietários de escravos frequentemente negociavam seus escravos em troca de dinheiro e bens. Por causa disso, muitos escravos, incluindo crianças pequenas, foram separados de suas famílias. Escravos domésticos muitas vezes arranjavam casamentos para os filhos com outros escravos domésticos para perpetuar seu status social menos oneroso.
