Dice la tradición que San Vítores (o Víctor) fue un personaje originario de estas tierras que practicó el eremitismo en una cueva cercana y que murió martirizado al oponerse al islamismo. El cuerpo del santo fue enterrado en la cueva de Cerezo donde había vivido (según esta tradición el mismo santo se dirigió a la cueva con la cabeza entre las manos) y donde fue venerado.

En ese lugar se levantó una ermita donde después se reunió una comunidad de clérigos. Debido a su popularidad el condestable de Castilla mandó que se levantara un nuevo convento que entregó a los predicadores (1464) que estuvieron hasta el 1551. En 1556 el lugar fue ofrecido a los franciscanos que entraron en este mismo año, lo que fue aprobado por el Papa Pablo IV. En 1625 los franciscanos reedificaron el convento y permanecieron aquí hasta la desamortización.