Según el testimonio e investigaciones del historiador Jesús Villarroya, esta vivienda pudo pertenecer al infanzón Pedro Martín y Calvo, mandada construir a finales del siglo XVIII. De idéntica manera, este hombre poseía otra casa que no se ha conservado detrás de la iglesia de la localidad, tal y como se demuestra en el proceso de infanzonía de Martín y Calvo, fechado en 1766:
«En la villa de Fortanete, sita dentro del presente Reino, de la Encomienda de Aliaga, ha habido y hay una casa y palacio de la Familia y el renombre de apellido de Martín en la Calle Alta, que en lo antiguo confrontaba con casa del maestro Martín Serrano, y tres calles públicas, y en el día confronta con casa de la Capellanía de Serrano y con otras tres vías públicas; cuya casa tiene una media naranja o cascarón en que remata la caja de la escalera principal de dicha casa y en dicho cascarón a la frente de la puerta de la casa están pintadas las armas del apellido y renombre de Martín, que consisten en un escudo de campo rojo, y en él un castillo con tres almenas, y de él sale un brazo desnudo con una espada en la mano, y al pie del castillo una mecha encendida, y los dueños y poseedores de dicha casa y palacio del renombre y apellido de Martín, y todos sus descendientes por recta línea masculina, y que han tenido su principio y origen de ella, han sido y son infanzones hijosdalgo de sangre y naturaleza de casa y solar conocido…».
Utilizada como prisión durante las Guerras Carlistas, se trata de un gran edificio exento y construido en sillería y mampostería, con planta rectangular y tres alturas. Posteriormente, se le añadieron corrales, patios y otras edificaciones, además de haber sido subdividido en tres viviendas. Asimismo, algunos de los pocos huecos que conserva posee el alféizar moldurado en sillería.