La tradition orale veut que le Père de Monfort ait souhaité ériger son premier calvaire en cet endroit. Comme toutes les légendes, elle est peut-être basée sur une part de vérité, mais aucune preuve historique ne vient l'appuyer. Par contre, les archives nous révèlent que le Père de Monfort a eu des désaccords pour d'autres sujets, à Campbon avec le Duc de Coislin. La destruction par décision royale de son premier calvaire à Pont-Château en fût peut-être une des causes.