Durant la dècada de 1070 haurien arribat fins aquest lloc de La Motte-Saint-Didier les relíquies de sant Antoni Abat, portades de Constantinoble per Jocelin després d’un pelegrinatge a Orient. El mateix personatge va emprendre la construcció d’una església al costat del castell feudal digna de les relíquies que havia d’acollir. Per ajudar a aquesta empresa, el 1088 hom va demanar als monjos de l’abadia de Montmajor (Arle, Boques del Roine) que hi establissin un priorat i tinguessin cura dels serveis religiosos, de l’església existent i de la nova que estava en construcció, aquests ja estaven plenament assentats a La Motte abans de la fi del segle XI. El lloc va créixer en popularitat a causa de l’arribada de pelegrins que s’encomanaven al sant per aconseguir la curació de la malaltia coneguda com foc de Sant Antoni (l’ergotisme), molt comuna en aquella època.

Saint-Antoine del Vienès
Entrada al recinte monàstic

Saint-Antoine del Vienès
Portal d'accés a la plaça de l'església

Un dels pelegrins guarits fou Guérin de la Valloire, en compliment d’una promesa va dedicar la seva vida a atendre els malalts acompanyat del seu pare, Gastó. Ràpidament s’hi va aplegar una petita comunitat que tenia cura dels malalts i l'any 1095 ja disposaven d’un petit hospital i, a més, van obtenir la confirmació fundacional del papa Urbà II. El primer cap (mestre) de l’organització fou el mateix Gastó de la Valloire. El 1119 el papa Calixt II va poder consagrar la nova església tot i que encara estava en construcció. El priorat benedictí i l’hospital van conviure a La Motte, però l’activitat dels hospitalers va topar amb els interessos del priorat de Montmajor tot disputant-se el control del lloc, les relíquies i el pelegrinatge.

El ràpid desenvolupament de la comunitat d'hospitalers va estendre la seva influència terres enllà establint en moltes ciutats nous assentaments especialitzats en la curació del foc de Sant Antoni que fins i tot comportava la pràctica de la cirurgia. El 1209 el bisbe autoritzava als antonians la construcció d’un oratori propi, l’església de Notre-Dame, independent l’església de Saint-Antoine dels benedictins, prioral i alhora parroquial. En aquesta època els hospitalers ja disposaven de clergat propi dins de la seva comunitat. Durant la primera meitat del segle XIII els hospitalers van anar aconseguint privilegis en detriment dels que ostentaven els benedictins, finalment el 1247 el papa Innocenci IV va sotmetre aquella comunitat hospitalera a la Regla de Sant Agustí, esdevenint en endavant un veritable orde religiós de tipus canonical.