El Seminario de San José se fundó en 1728 y se construyó en 1758. Junto con el Colegio de San Pablo, fue una de las principales bases para la labor misionera en China, Japón y la región circundante. Las fechas distinguen la fundación de la institución de la construcción de sus edificios.
El atrio y la escalinata de la plaza de San Agustín sitúan el seminario dentro de un conjunto de edificios religiosos y culturales. La enseñanza no estaba apartada de la ciudad: había iglesias, un teatro y una biblioteca, unidos por la plaza como espacio público.



