
Selon la tradition orale, cette chapelle aurait été érigée par Antoine Serres, fabricant de draps de laine. Vers la fin du mois de juin 1721, ce dernier fut emporté par le Lot en crue alors qu'il faisait sécher ses toisons au bord de la rivière. Il dut son salut à un Dragon du Roi, qui passait par là. Sous le regard médusé des riverains, le dragon conduisit alors sa monture au plus près de l’infortuné qui se débattait, lui ordonnant de s’accrocher à la queue du cheval, et réussit à lui faire regagner la rive sain et sauf. En signe de reconnaissance, Antoine Serres jura alors de construire une chapelle près du lieu où il avait été emporté par les flots.
Toutefois cette légende est contredite par les textes : un document daté du 28 juin 1697 atteste de la construction de cette chapelle par Pierre Serre, lainier, en l’honneur de St Antoine de Padoue et de Notre Dame de Pitié.
Vers le début du XIX ͤ s., on lui adjoint une petite chapelle latérale dédiée à Ste Germaine de Pibrac.
Dévastée à la Révolution, la chapelle restera longtemps en ruines avant d’être restaurée au XIX ͤ s.
Les portes de la chapelle peuvent parfois être fermées.