Aunque se le ha supuesto un origen visigótico, un documento del año 952 menciona que el monje Martín y su comunidad procedente de San Cebrián de Mazote (Valladolid) llegaron a este lugar para establecerse, abandonando su primer monasterio posiblemente debido a las condiciones poco adecuadas que presentaba, se desconoce la fecha de la llegada, quizás el 897 o el 916, según diferentes opiniones. Sin embargo, una inscripción fundacional del año 921 empotrada en la fachada dice que el abad Juan, procedente de Córdoba, levantó una iglesia nueva sobre las ruinas del anterior, es posible que se tratara de una construcción hecha sobre las ruinas de un monasterio anterior. En esta época aparecen documentados diversos litigios sobre la posesión de unas pesquerías, el documento de 952 es uno de ellos, que se sentenciaron a favor del monasterio.

A mediados del siglo X el monasterio pasaba por una época de expansión e incrementó considerablemente su patrimonio pero luego debió sufrir una crisis y no es hasta principios del siglo XII que se encuentran más noticias sobre la casa y es entonces que se cree que adoptó la regla de San Benito que sustituiría al anterior, probablemente relacionada con la de San Fructuoso. En una operación impulsada por Alfonso VII de León y Castilla, en 1150 llegó el monje Pedro Cristiano desde el monasterio de Carracedo, y el monasterio de San Martín quedó vinculado al leonés. También disfrutó de una nueva etapa de prosperidad en la que se reconstruyó la iglesia, a la vez que recibía importantes donaciones que incrementaron su patrimonio. Las propiedades y privilegios de Castañeda fueron confirmados por los monarcas los años 1195 y 1231. Siguiendo los pasos de Carracedo, que en 1203 se convirtió cisterciense, en 1245 San Martín también se vinculó al Cister, condición que mantendría en adelante.