A mitjan del segle XI, però, el lloc havia decaigut i de fet també va anar perdent la vida regular a més de part dels seus béns. Les disputes entre els comtats de Pallars van fer que el 1064 s’arribés a un acord entre Artau I de Pallars Sobirà (1049-1081) i Ramon IV de Pallars Jussà (1047-1098) pel qual el territori del monestir passés a dependre del Pallars Jussà. El relaxament de costums dins del monestir va facilitar la intromissió del canonge secular Ramon que el 1092 va erigir una canònica en detriment de la decadent casa benedictina, de fet es legitimava l’estat que mantenia ja des de feia temps. El 1100 el papa Pasqual II adscrivia la canònica al bisbat de Roda i li confirmava el seu estatus canonical i s’inaugurava una nova època de puixança. El 1112 hi va passar a dependre el monestir de Sant Genís de Bellera i Sant Joan de Viu també era un priorat d'aquest lloc. Durant el segle XII es van portar a terme importants obres millora a la canònica gràcies a la protecció que en aquella època rebien de la baronia d’Erill, que hi van aixecar un claustre on hi van fer el seu panteó familiar.

Degué patir un nou període de decadència ja que el bisbe de Lleida, Berenguer d’Erill (1205-1236) va demanar al papa la reintroducció de la Regla de Sant Benet, però el 1223 Honori III ordenà la transformació de Lavaix en abadia cistercenca, depenent de Bonafont (Alta Garona, Occitània) i amb la missió d'ocupar-se de la repoblació. Barraquer esmenta que a causa de l'aïllament del territori, Lavaix no va patir directament els efectes de la guerra del Francès. Els cistercencs ocuparen la casa fins l'exclaustració (1835) tot i que hi residiren fins el 1855. Des del 1624 estava integrada a la Congregació Cistercenca de la Corona d’Aragó. Un cop va quedar sense comunitat, l'església va esdevenir un santuari, però els edificis es degradaren i el lloc fou espoliat. Les restes van quedar negades pel pantà d’Escales (des del 1955) que ara només permet de veure-les quan baixen les aigües, cada cop més deteriorades.