El Casón del Retiro en la calle de Alfonso XII está a la altura del número 28 y es un edificio exento cuya construcción se remonta al siglo XVII, concretamente cuatro años después de que el 5 de diciembre de 1633, el conde-duque de Olivares (Roma 1587-Toro 1645) ofreciera al joven rey Felipe IV (Valladolid 1605 – Madrid 1665) las llaves de un Palacio rodeado de un inmenso jardín.