Una tradició diu que sant Vítores (o Víctor) fou un personatge originari d’aquestes terres que va practicar l’eremitisme en una cova propera i que va morir martiritzat per oposar-se al islamisme. El cos del sant fou enterrat en la cova de Cerezo on havia viscut (segons aquesta tradició el mateix sant es va dirigir a la cova amb el cap entre les mans) i on fou venerat.

En aquell lloc es va aixecar una ermita on després s’hi va reunir una comunitat de clergues. A causa de la seva popularitat el conestable de Castella va manar que s’aixequés un nou convent que va entregar als predicadors (1464) que hi van estar fins el 1551. El 1556 el lloc fou ofert als franciscans que en aquesta data hi van entrar, fet que fou aprovat pel papa Pau IV. El 1625 els franciscans van reedificar el convent i s’hi van estar fins la desamortització.