El inmueble que hoy alberga al Museo Nacional del Virreinato fue el lugar donde se instauraron tres colegios para los niños indígenas y para los jesuitas.

En el año 1606, con el donativo de don Pedro Ruiz de Ahumada se comenzó a construir el claustro de los aljibes donde se quedarían los primeros habitantes del colegio jesuita. Conjuntamente a ello, se empezó a levantar la capilla doméstica que se cubrió con una bóveda de cañón y su cúpula, y al mismo tiempo, se construyeron la hospedería (hostería) y el portal de peregrinos. Después en el año 1670, con el donativo de la familia Medina Picazo, se inició la construcción del templo de San Francisco Javier, la sacristía, la cripta y las capillas anexas. Además, cabe destacar que todavía se conserva la construcción original del pequeño campanario y la portada lateral del siglo XVII.

A partir de la última década del siglo XVII y con el apoyo de benefactores como Juan Caballero y Ocio empezaron importantes obras de construcción, tales como, los dos niveles del claustro de los naranjos (foto) los cuales fueron concluidos en 1708 y se destinaron para al descanso y recreación de los novicios.