Além da destruição física, o Morro do Castelo também carregava um imaginário que atravessava gerações. Nas vielas, igrejas e casarões coloniais surgiram histórias de crenças mistas, mistérios e condenações sociais, algumas delas registradas em documentos, outras preservadas pelas memórias orais de antigos moradores.
