El traslado de la residencia de los marqueses a Madrid a comienzos del siglo XVII conllevó una etapa de decadencia en algunas de las propiedades de los señores de Berlanga en la villa, aun así continuaron vinculados a este lugar. En 1633 Bernardino Fernández de Velasco fundó el convento de frailes franciscanos en torno a la antigua ermita de Paredes Albas aprovechándose la cabecera de la misma para construir la iglesia.

         Sin embargo, la escasa inversión de recursos en otros edificios, como ocurrió con el castillo, produjo un progresivo empeoramiento del estado del mismo. A este abandono se sumó un incendio ocurrido en 1660, además del expolio al que se vio sometido en las décadas siguientes para reutilizar los materiales en nuevas obras y reformas del palacio. Las estructuras del castillo fueron desapareciendo poco a poco hasta que, a finales del siglo XVIII, quedó tan solo un esqueleto de piedra no muy diferente al que hoy día podemos contemplar.

         La Guerra de Independencia a comienzos del siglo XIX trajo consigo la visita de las tropas napoleónicas a Berlanga, que saquearon la colegiata y otros edificios y acabaron con una buena parte de las casas nobles de Berlanga, además de incendiar el palacio de los Marqueses de Berlanga, del que solo se conservó la fachada que podemos ver en la actualidad.

         A comienzos del siglo XXI el Ayuntamiento de Berlanga de Duero adquirió todo el conjunto monumental del castillo, murallas, palacio y jardines, iniciándose así la consolidación, restauración y puesta en valor de este magnífico monumento.