Al igual que la casa de las Pepetas, que se sitúa frente a su fachada principal, la casa de Don José fue profundamente reformada a principios del XIX, en estilo neoclásico, aunque esté datada en 1770. También, como casa Planas, tiene una escalera monumental, cubierta con una cúpula decorada con figuras bíblicas y simbólicas.
Es un edificio de grandes dimensiones, con interesantes elementos repartidos por sus dos fachadas. Tiene planta rectangular muy alargada. En la fachada correspondiente el número 27, se abre el arco de medio punto de la puerta de acceso, realizado con dovelas de piedra sillar. A diferencia de la mayoría de arcos de la comarca, en este caso se incorpora una chambrana o moldura lisa que enmarca y resalta el arco. Sobre ella se dispone un balcón prácticamente en ruinas.
Al lado de la puerta de este balcón, puede verse un reloj de sol esgrafiado sobre el yeso y pintado con trazos azules. También a la altura de la primera planta se conserva, en el centro de la fachada, un balcón con un curioso zócalo. Adquiere forma troncocónica o piramidal invertida, al modo de la cazoleta o flamero de un púlpito. Está realizado en yeso, y de decora con elementos vegetales barrocos similares a los de la capilla de la Virgen del Rosario. El antepecho de forja se adapta a la base semicircular. Conserva restos de la policromía con la que se cubría. Destaca la cabeza humana colocada en la base de la estructura.
En la segunda planta encontramos balcones sencillos, mientras que en la planta bajo cubierta la iluminación se resuelve mediante óculos.
Dentro del mismo edificio se encuentra la portada actualmente identificada con el número 15. También se abre en arco de medio punto con dovelas. En la primera planta, correspondiendo probablemente con la sala noble, se abren tres balcones. En la planta bajo cubierta se mantienen los mismos óculos de iluminación. En esta fachada de coloca el escudo familiar. Se trata de un escudo enmarcado por una cinta perlada parcialmente perdida, con campo único y tres barras horizontales.
Pequeñas aberturas practicadas en la parte inferior del muro de esta fachada nos indica la existencia de un sótano o espacio subterráneo, algo lógico si observamos la pronunciada pendiente de la calle. El aspecto de este magnífico edificio es verdaderamente lamentable, ya que está perdiendo los enlucidos de los muros, dejando vistos los materiales constructivos. Se ha perdido también la policromía que lo decoraba. Las referencias indican la presencia de una escalera monumental en el interior cubierta con una cúpula decorada con elementos simbólicos y religiosos. Se dice que en ella durmió Espartero, y que fue cuartel durante la guerra civil carlista.