À la fin de l’Empire romain, Berthauld (452-525), fils d’un roi des Scots, et son compagnon Armand entreprennent un pèlerinage à Jérusalem. Au retour, ils décident d’abandonner le pouvoir et de quitter leur famille. Ils traversent la mer sur un radeau (ou currach) et débarquent en Bretagne. Guidé, selon la tradition, par un lion, Berthauld s’installe sur le Mont Chauve (Calvus Mons).
D’abord mal accueilli par la population du Porcien, il est bientôt reconnu pour les nombreux miracles qui lui sont attribués, notamment des guérisons de la folie. Sa réputation grandissante conduit les habitants à se convertir au Christ. Après une rencontre avec saint Rémi, Berthauld obtient l’autorisation de célébrer la messe. Olive et Libérette, filles du seigneur de Hauteville, sont touchées par son enseignement et édifient chacune une cabane près du Mont Chauve.
Après la mort de Berthauld en 525, de nombreux ermites viennent s’installer sur le site. Une abbaye et une église y sont ensuite fondées au XIe siècle par des moines augustins, puis reprises par les Prémontrés. Un hôpital médiéval accueille également les pèlerins de passage.
Le pèlerinage de saint Berthauld perdure encore aujourd’hui : il se déroule le dimanche suivant le 16 juin, jour de sa mort.