Hernán Cortés está relacionado con la historia de esta casa, que en un inicio fue un solar regalado por el conquistador. Años más tarde Juan Cermeño construiría su casa, que fue edificada con piedras procedentes de templos prehispánicos, por lo que se cuenta había maleficios en torno al lugar.  

El nombre actual se remonta al siglo XVIII, cuando Don Miguel Berrio y Zaldívar, conocido como el Conde de San Mateo Valparaíso, llegó a habitarla. En la capital fue dueño del Palacio de Iturbide, que ocupaba como casa solariega.