O Seminário de São José foi fundado em 1728 e construído em 1758. Juntamente com o Colégio de São Paulo, serviu de base principal para o trabalho missionário na China, no Japão e na região envolvente. Estas datas distinguem a criação da instituição da construção dos seus edifícios.
O adro e a escadaria do Largo de Santo Agostinho colocam o seminário no meio de um conjunto de edifícios religiosos e culturais. O ensino não estava separado da cidade. Havia uma igreja, um teatro e uma biblioteca, ligados pela praça como espaço público.



