La présence humaine est attestée sur le site depuis la préhistoire. Nombreux silex, hache et statuettes en bronze, débris de briques et de poteries, et pièces de monnaie y ont été découverts, datant pour la plupart de l'occupation gallo-romaine. À cette période a été édifié un fanum (petit sanctuaire de tradition celtique) au nord-est du site. Au XIIIème siècle, un petit prieuré de femmes était établi à proximité. Aujourd'hui, ne subsistent de cette occupation que les ruines de la chapelle. Situé sur un petit tertre au sommet, cet édifice dédié à Notre-Dame-de-Bon Secours a été érigé entre 1868 et 1871 grâce à de généreux donateurs et bénévoles, sous la houlette du curé de Surdoux et de Saint-Gilles-les-Forêts, l'abbé Louis Joyeux (également à l'origine de la plantation de l'allée des hêtres). Les jours de pèlerinage, les fidèles assistaient à la messe dans la chapelle, puis se livraient à une procession à travers les landes en passant par la fontaine du buisson blanc. Cette tradition se perpétue de nos jours avec le festival du Mont Gargan qui a lieu tous les ans au 15 août depuis 1966. Cette chapelle de style néo-gothique est entièrement construite en granit et en pierres du pays extraites de carrières locales. Un clocher d'une douzaine de mètres dont la flèche n'a jamais été construite, faute d'argent, permettait autrefois de profiter du panorama. La chapelle est restée quasi intacte jusque dans les années 1920. Les rigueurs du climat, le manque d'entretien et les dégradations volontaires ont eu raison de l'édifice désaffecté en 1924. Depuis 1982, le Conseil départemental, devenu propriétaire du sommet du Mont Gargan, mène des études et des travaux afin de la consolider et de stopper le processus de dégradation. Source : Conseil départemental