Se comenzó a construir en 1552, sobre solares que habían pertenecido al Cabildo de la Catedral. Su promotor fue el canónigo don Hernando de Miranda, que colocó los escudos de sus padres, el de Miranda, sobre la puerta, y a los lados los de Robles y Chaves, sus linajes maternos.
De fachada sencilla, destacan el alfiz, rematado por flameros, y la portada adintelada con los escudos primorosamente esculpidos.
En su interior hay un patio de ocho columnas, rematadas por capiteles con escudos de linajes mirobrigenses que enlazaron con los Miranda; sostienen las galerías del piso superior, que en su origen eran abiertas, según costumbre de la arquitectura local.
Durante la Guerra de la Independencia sufrió grandes daños en la parte posterior, que tuvo que ser reedificada. Esto lo llevó a cabo en el último tercio del s. XIX don Clemente de Velasco y Sánchez Arjona, descendiente de los Miranda.
