Elle pourrait s’apparenter à une simple chapelle rurale compte tenu de ses dimensions et de son isolement, pourtant, il s’agit bel et bien d’une église. En effet, au XIXe siècle, le village de Saint-Victor comptait encore 500 habitants, répartis dans les hameaux éparpillés autour du promontoire sur lequel étaient bâtis l’église du village et son cimetière, le presbytère, la mairie et l’école communale.
On accède à l'église par un chemin de croix, construit en 1965 par l’Abbé Marcenat. Après être tombé dans l’oubli, le pèlerinage annuel de Notre-Dame des sept douleurs (3e dimanche de septembre) dont l’origine remonte au XVIIe siècle a été à nouveau organisé à partir de 1913 à l’initiative de quelques habitants. En 2015, des moines bénédictins se sont installés sur le rocher de Saint-Victor, ils y assurent une présence monastique tout en aménageant les lieux pour y faire vivre leur petite communauté.