El origen del monasterio está relacionado con la milagroso hallazgo en este lugar de una imagen de la Virgen. Aquel preciado objeto se veneraba en la cueva donde se había encontrado y debido a la devoción que despertó, se fueron edificando algunas dependencias para el servicio de su culto. El año 1147 el lugar fue entregado a los cistercienses de Sacramenia (Segovia) quizás con la finalidad de que se establecieran aquí, lo que no parece que se llegara a realizar nunca, quizás los cistercienses únicamente mantuvieron una granja, entidad bastante común en esta orden.

En el año 1401, cuando todo hace pensar que los cistercienses ya no tenían ninguna relación con el lugar, la casa de la Armedilla fue entregada por Fernando de Antequera a los jerónimos de la Mejorada de Olmedo (Valladolid). El 1402 los jerónimos tomaron posesión y en 1405 el papa Benedicto XIII autorizó la construcción de la nueva casa. Esta orden levantó el nuevo monasterio sobre las antiguas construcciones y en 1552 se trasladó la imagen de la Virgen a la nueva iglesia. Gozó de la protección de los duques de Alburquerque, que levantaron aquí un palacio. El monasterio subsistió hasta la desamortización, cuando quedó abandonado y su patrimonio se perdió o dispersó. La imagen románica de la Virgen de la Armedilla aún se conserva en Cogeces del Monte. La portada de la iglesia se trasladó a una casa señorial de Valladolid.