Construite sur un site vertigineux (prudence à proximité de la chapelle), cette petite chapelle romane est le seul vestige d'un château fort dont on voit encore la motte. Elle abrite des fresques du XIVe siècle.
Cette chapelle fait l'objet de plusieurs légendes, mêlant traditions chrétiennes et païennes : l'une d'elle raconte que Sainte Madeleine jetait son chapelet entre son rocher et celui de Saint-Victor, de l'autre côté de la vallée, pour former un pont lui permettant de rejoindre l'ermite pour de pieux échanges.