Construída para acabar com o déficit prisional da cidade, em pouco tempo a Casa de Detenção passou a sofrer do mesmo mal. Em 1964, tinha 2.103 presos. Já em setembro de 1972, mantinha 5.002 homens detentos. Em 1976, havia dez presídios subordinados ao Departamento dos Institutos Penais do Estado (DIPE) e, de uma população total de 9.392 presos sob a custódia da Secretaria da Justiça, somente a Casa de Detenção de São Paulo abrigava 6.473, sendo 5.333 já condenados.
Como a Penitenciária do Estado concentrava cerca de 1.200 presos, esses dois presídios eram responsáveis, naquela época, por algo em torno de 80% da população carcerária sob a responsabilidade do DIPE. No início dos anos 2000, havia na Casa de Detenção 7.469 presos. Jesus Ross Martins foi o último Diretor na Casa de Detenção, antes da divisão em Carandiru I, Carandiru II e Carandiru III; sob sua gestão, a Casa de Detenção chegou a cerca de 7.600 presos.
