Se cree que la imagen fue hallada por un sacerdote en el periodo medieval en un lugar de la garganta del Peñón de la Hoz llamado El LLovedor. En 1718 en el centro de Castellote se construyó una ermita para albergar la imagen y, posteriormente en El Llovedor, se construyó otra a la que se acude en romería en dos días diferentes, uno para los hombres y otro para las mujeres. En la primera ermita, llamada de la Virgen del Agua, se rinde culto a la imagen románica que ha sido recientemente restaurada.
Es una iglesia de planta irregular, debido a la ampliación que sufrió en el siglo XX. Construida en mampostería y sillería (fachada), los elementos más destacados de su exterior son el tambor octogonal de la cúpula situada sobre el crucero, la torre de dos cuerpos situada a los pies de la iglesia (el único campanario exitente en Castellote) y, especialmente, la portada barroca: tiene dos cuerpos, con una portada en arco de medio punto sobre la que se abre una hornacina rematada por un frontón; ambos huecos están flanqueados por columnas torsas exentas sobre elevadas basas.
Al interior consta de dos naves de un único tramo cubiertas por bóvedas de arista y crucero cubierto por cúpula sobre pechinas.
Si bien la ermita se construyó en el siglo XVIII, la devoción a la Virgen del Agua tuvo su origen en época medieval, cuando esta imagen se apareció a un sacerdote y a un pastor en la garganta del Peñón de la Hoz. (milagro con características similares a otros ejemplos en la comarca del Maestrazgo como la Virgen del Cid en la Iglesuela y la Virgen de la Carrasca en Bordón).
La romería se realiza desde 1405, en que once mozos del pueblo acudieron a la ermita de la Balma para pedir agua tras varios meses de rigurosa sequía.
