Hernán Cortés est liée à l'histoire de cette maison, qui était initialement un terrain donné par le conquérant. Des années plus tard Juan Cermeño construisit sa maison, et utilisa des pierres des temples préhispaniques, de sorte on dit maléfices rodaient autour du lieu.

Le nom actuel remonte au XVIIIème siècle, quand Don Miguel Berrio y Zaldívar, connu comme le comte de San Mateo Valparaíso, vint l’habiter. Dans la capitale il fut le propriétaire du  Palais d’Iturbide, qu’il occupait comme manoir.