A contrução de "O Casarão", tal como existe hoje, data da segunda metade do século passado. Está registrado como "Monumento de Valor Ambiental" no IPAC-BA (Instituto de Patrimônio Histórico Cultural), no registro Nº 32201-0.4-I002. A história desta pousada nos leva as origens da Ilha em si. A início do século XVII a filha do capitão Lucas da Fonseca Saraiva havia estabelecido uma residência em Morro de São Paulo

e tempos depois construiu uma pequena capela próxima a sua residência dedicada a "Nossa Sra da Luz".
A família Saraiva-Góes foi de grande importância na história das Ilhas desde o início. A Primeira capela de Nossa Senhora da Luz foi construída exatamente no mesmo lugar onde está situada hoje a igreja de origem recente. E a residência da Família Saraiva-Góes é hoje o "O Casarão".