Durante el periodo de la colonia era la residencia principal de los Condes del Valle de Orizaba y fue habitado por la familia del Conde hasta recién consumada la Independencia de México.

El aspecto actual del palacio se debe a Doña Graciana Suárez de Peredo, quien ostentaba el título de la Quinta Condesa del Valle de Orizaba, y vivió en la ciudad de Puebla desde su casamiento hasta la muerte de su esposo, en el año de 1708, que es cuando decide regresar a la capital del Virreinato de la Nueva España y hacer uso del inmueble.

Durante el siglo XIX, la propiedad pasó por varios dueños, hasta que finalmente en 1881 se estableció en ella el elegante Jockey Club, uno de los centros de reunión más exclusivos de la elite porfiriana. En 1919 la Casa de los Azulejos cambió de nuevo su uso para albergar a los almacenes de los hermanos Walter y Frank Sanborn que, tras dos años de restauración, ofrecían en ese lugar un concepto comercial inédito en México al adecuar a la construcción existente una fuente de sodas, un restaurante, tienda de regalos y revistas, una farmacia y una tabaquería entre otros servicios, que desde su inauguración se convirtió en un rotundo éxito comercial y con el tiempo en una de las tiendas y posteriormente cadenas comerciales más características de México.