Es un palacio construido a mediados del siglo XV sobre antiguas fortificaciones desaparecidas por don Alonso Pérez de Vivero, Contador Mayor de Juan II, asesinado por orden del valido del rey, Álvaro de Luna, en 1453.

•En una de sus estancias, la llamada Sala Rica, firmaron su compromiso de matrimonio el 14 de octubre de 1469 los Reyes Católicos, uniéndose así las Coronas de Castilla y Aragón y celebrándose el enlace pocos días después, el 18 de octubre de 1469. En esos momentos era dueño del palacio el hijo de Alonso Pérez de Vivero, Juan Pérez de Vivero, casado en 1456 con María de Acuña, quien actuó como madrina durante el enlace. Era hija de Pedro Vázquez de Acuña y Albornoz, I conde de Buendía desde 1465 y señor de Dueñas(Palencia) desde 1439, quien junto a su hermano el arzobispo de Toledo Alonso Carrillo de Acuña fueron los artífices de dicho matrimonio.