En la Plaza del Mercado, a los pies del cerro del castillo, podemos contemplar la fachada del palacio renacentista de los señores de Berlanga. Único vestigio que queda en pie, ya que fue incendiado durante la Guerra de Independencia por las tropas napoleónicas, de lo que seguramente fue un majestuoso edificio.

         Juan de Tovar, señor de Berlanga desde 1528, fue el promotor de las obras de este palacio. Sus padres María e Íñigo ya habían comenzado la construcción de un palacio junto a la colegiata, pero esta obra quedó inconclusa tras su muerte y Juan decidió construir el edificio palaciego en un lugar más destacado y espacioso desde el que se pudiera contemplar su esplendor.

         El palacio conserva una monumental y sobria fachada, sin apenas elementos decorativos, realizada en piedra de sillería y distribuida en tres plantas, con un último piso formado por una galería alta. Esta distribución era muy característica de la arquitectura palaciega y de las villas ducales del siglo XVI. Sobre el arco adintelado de la portada principal encontramos un panel con el escudo de armas de los Tovar y de los Enríquez, correspondiente a Juan de Tovar y su mujer Juana Enríquez,  junto con la leyenda “SAPIENTIA AEDIFICABITUR DOMUS, ET PRUDENTIA ROBORABITUR”, respondiendo al característico programa de exaltación del linaje promotor de la obra.

         Gracias a diferentes estudios sabemos que contaba con un gran pretil delante de la fachada desde donde se accedía por la puerta principal a un amplio zaguán, antesala de un patio central de columnas. Este patio, eje desde donde se distribuía todo el palacio, contaba con dos alturas con una galería inferior tenía columnas de piedra con arcos de medio punto y una superior zapatas y dinteles de piedra. El acceso al piso principal por el patio se hacía a través de una escalera monumental situada en un lateral del mismo. El piso principal albergaba las estancias más destacadas del palacio, como los salones o dormitorios. Desde este piso se podía acceder a los magníficos jardines situados a levante del palacio, distribuidos en cinco alturas, adornados con fuentes y estatuas y regados por una ingeniosa noria.

         Se puede acceder a la única torre del palacio que queda en pie, donde actualmente se encuentra la oficina de turismo y una exposición sobre la historia del palacio y de la villa.