El Palacio del Conde de Alba de Yeltes se levantó sobre otro más antiguo construido por los Nieto de Silva en la primera mitad del s. XVI.
Reconstruido a comienzos del XVIII, resalta la gran portada barroca de arco de medio punto entre dos columnas y un frontón triangular con los escudos de Nieto, Silva, Pacheco y Guzmán.
A mediados del s. XVIII fue utilizado como cuartel.
En el XIX fue vendido al Ministerio de la Guerra, que lo utilizó para diversos usos (cuartel de Inválidos, depósito de suministros…).
Adquirido por Caja Duero sufrió su definitiva reforma en 1945.
