El edificio que albergó el ayuntamiento es de dos pisos y ático, cuenta con una lonja a la que se accede mediante dos arcos de medio punto de sillería apoyados en un pilar cuadrado. Está realizado en mampostería con sillares en las esquinas y en los arcos. Sobre el trinquete se construye la primera planta, con sus muros enlucidos, iluminada por cuatro vanos rectangulares abiertos en la fachada principal. En el centro de la fachada se coloca un reloj de sol de baldosas cerámicas moderno. Alero de dos hileras de ladrillo y dos hileras de teja superpuestas. La cubierta del trinquete presenta un gran número de vigas, ya que están colocadas a poca distancia, cubriéndose el espacio entre ellas con revoltones de yeso.
El acceso se realiza bajo la lonja mediante una puerta adintelada y dovelada, en cuya clave se observa el escudo de la población con dos torres. Sobre él se lee la fecha de 1706, año de construcción del edificio.
Dos Torres era una aldea de la comunidad templaria de Castellote, y después del Hospital. Alcanzó su independencia municipal en 1834, manteniéndola hasta la década de 1960-70 en el que se incorporó a Castellote.