Un petit sanctuaire aurait déjà été érigé au Moyen Âge sur l'emplacement d'un site gallo-romain antérieur.
De nombreuses légendes expliquent la présence de cette chapelle: la Vierge et saint Démétrius auraient mis en déroute les anglais, ou le naufrage d'une flotte de pirates par une tempête provoquée par saint Gildas…
L'édifice actuel fut reconstruit sur les ruines de deux chapelles successives (XVIIe et XIXe siècles), grâce à la générosité de la famille de Francheville.
Sa disposition en croix grecque lui permet de mieux résister aux vents violents venus de la mer.