La imagen de la Virgen del Pueyo desaparecida ya en el XVIII, fue venerada en lo más alto de la villa de Cuevas, por ello tomo el nombre de “El Pueyo”. En la pared que debería ocupar el altar hay una roca que podría conservarse debido a ser considerada el lugar del Milagro, como se conocía anteriormente a esa zona.
La ermita ya debía de existir a finales del siglo XV pues en el resumen documental de la publicación de Miguel Ángel Pallarés, hay un documento de 1481 que nombra la Cofradía de Santa María y otro poco después que menciona a Santamaría del Poyo (1493).
En la visita pastoral de 1601 aparece citada, aunque se dice que necesita ser retejada. Ya en este siglo XVII se remodelaría tal como la conocemos hoy, de planta centralizada con una cúpula decorada con esgrafiados. Esta decoración a través estucos, esgrafiados avenerados y representaciones de figuras femeninas con canastos es muy similar a la que presenta la ermita de San Blas. Por otra parte, el suelo de la ermita estaba decorado ricamente por medio de unas baldosas cerámicas desaparecidas.
Esta construcción barroca de una sola nave cubierta con cúpula y linterna se erigió en el enclave del antiguo castillo, de planta irregular y de escasas dimensiones, del que solo se conservan algunos restos de su entorno. Entre ellos se distinguen los cimientos del recinto amurallado de la fortaleza y las bases de un torreón rectangular realizado en mampostería donde en uno de sus sillares de refuerzo consta la fecha de 1687.
En los últimos tiempos se han estado realizando trabajos de restauración de todo el conjunto.
