Die Einsiedelei wurde im Wald Bois de Niau von Edmond d’Hoffschmidt (geboren 1777) erbaut, einem ehemaligen napoleonischen Offizier, der zu einer legendären lokalen Persönlichkeit wurde. Nach einer unglücklichen Liebe während eines Feldzugs zog er sich für fast 15 Jahre hierher in die Einsamkeit zurück. Auf diesem trockenen Kalksteinboden errichtete er ein stattliches Haus mit Keller, Garten, Voliere und einem Felsenturm, der als Grotte und Aussichtspunkt diente. Als gebildeter Geist studierte er hier Philosophie und klassische Autoren wie Voltaire, Rousseau und Byron. 1830 erbte er das Schloss und wurde Bürgermeister von Resteigne – ein großzügiger Mann, der seinen Mitbürgern gerne Streiche spielte, um das Dorf zum Lachen zu bringen. Die Ende des 19. Jahrhunderts verfallenen Überreste wurden kürzlich von der Vereinigung „Les Amis de l’Ermite de Resteigne“ restauriert.