Cette chapelle de style Renaissance fût construite en 1520.
En 1634, elle était signalée en ruine et profanée par les protestants au moment où Arnaud Delparc, archiprêtre de Salviac, se chargea de la remettre en état.
Suite à cette restauration, le 19 mars 1634, est créée une confrérie du rosaire perpétuel. Les confréries du Rosaire sont des associations catholiques réunissant des personnes pour prier le Rosaire. Le rosaire est le nom d'une prière catholique, consacrée à Marie, mère de Jésus. Grâce à cette confrérie, un retable vint orner la chapelle. Le culte fût assuré jusqu'à la Révolution, lorsque la chapelle fut vendue comme bien national.
Cet édifice de la Renaissance se distingue par la présence de médaillons sculptés et un grand portail en bois. On peut penser qu'avant qu'on édifie cette chapelle se trouvait un sanctuaire primitif sous la forme d'un arbre, un orme, qui en occitan se dit "olm". Il fut un hôpital pour les pèlerins, avant de devenir un lieu de culte en 1520.
Cette chapelle était un lieu de pèlerinage grâce à sa position géographique, sur le chemin de Compostelle qui allait vers Cazals, elle était sur la voie principale reliant la chapelle au village. Ceci explique la présence du médaillon de Saint Jacques, regardant vers l’église, avec le bâton de marcheur et la coquille. Cette chapelle est l'une des rares chapelles Renaissance du Lot. Elle va être restaurée