Se cree que en 1212 un pastor encontró a la Virgen en una carrasca y en el mismo lugar donde se produjo la aparición, los monjes templarios de Castellote ordenaron construir una ermita y, a finales del siglo XIII, un convento. A este santurario acudían en procesión vecinos de las localidades de Castellote, Cuevas de Cañart, Villarluengo, Tronchón, Mirambel y Olocau del Rey hasta que el Arzobispo de Zaragoza prohibió alguna por el caos que se producía en tales encuentros. En 1737 se reformó el interior. En la sacritía se conservó como reliquia un fragmento de la carrasca donde hubiera aparecido la Virgen.
Es una iglesia de traza original gótica, si bien en el siglo XVIII se realizaron modificaciones y ampliaciones que transformaron especialmente la cubierta y el aspecto interior. Tiene una sola nave, con testero recto y capillas entre los contrafuertes, que al parecer fueron construidas en una segunda fase en alguno de los tramos de un claustro anexo, que formaba parte de un conjunto conventual con establos, bodegas y otras dependencias de las que todavía se pueden rastrear algunos restos. La torre se sitúa a los pies de la nave.
El interior presenta una nave dividida en seis tramos por medio de arcos fajones en arco apuntado y cabecera plana. Se cubre con bóveda de cañón apuntado, construida en el siglo XVIII en sustitución de la original, que era de madera sobre arcos perpiaños; de la antigua techumbre solo se conserva una viga decorada con pinturas de estilo gótico lineal. En la nave se abrieron capillas laterales que se cubren con pequeñas cúpulas con linterna, salvo la situada en el tercer tramo del lado de la epístola. Se trata de la capilla gótica de Santa Lucía, que es el elemento de mayor interés de la iglesia; está cubierta con bóveda de crucería de nervios y capiteles historiados. Todo el interior presenta una profusa decoración pictórica fechada en 1719.
En el exterior, la fachada sur conserva una cornisa de canecillos en forma de bocel pertenecientes a la fábrica gótica, que queda encajada en el muro de la ampliación barroca. La portada se abre en el muro de la Epístola, a la altura del quinto tramo de la nave, en arco apuntado y decorada con un apostolado de estilo esquemático. Está protegida por un pequeño pórtico.
También deben destacarse dos piezas desaparecidas: la talla románica de la Virgen de la Carrasca y la de la Virgen de la Araña, realizada en alabastro, conocida gracias a una fotografía del Archivo Mora.
La leyenda sobre los orígenes de la iglesia encaja en los esquemas de creación de otros santuarios marianos del Maestrazgo en la Edad Media. Una Virgen románica tallada en un tronco de madera es encontrada cerca de algún elemento natural o asociada a él: el Llovedor en el caso de la Virgen del Agua de Castellote, una zarza en el caso de Aliaga y una carrasca en Bordón. La historia relata que en 1212 un pastor encontró a la Virgen en una carrasca y en el mismo lugar donde se produjo la aparición los monjes templarios de Castellote ordenaron construir una ermita y, a finales del siglo XIII, un convento.
