El hospital fue una de las obras que se realizaron bajo el mecenazgo de los Marqueses de Berlanga a mediados del siglo XVI. Del edificio conservamos su entrada, un sencillo arco de medio punto ornamentado con los escudos de los Tovar y los Enríquez y con la estatua de San Antonio alojada en una pequeña ornacina; la chimenea de las cocinas, de grandes proporciones y realizada íntegramente en ladrillo; y la capilla del hospital, hoy ermita de Ntra. Sra. de las Torres. Este singular edificio no solo sirvió como hospital, sino también como albergue para pobres y peregrinos.

         A su lado se encuentra la ermita de Ntra. Sra. de las Torres, reedificada en 1732 por Domingo de Ylisástegui sobre otra anterior que sirvió como capilla del hospital. Esta ermita barroca custodia en su interior la Virgen de las Torres, una primorosa talla románico-gótica del siglo XIII que procede de la antigua parroquia de Santo Tomé. Los retablos de la ermita, incluyendo en el que se aloja la talla de la Virgen de las Torres, son barrocos del siglo XVII y XVIII