1830 ließen Jean-Hubert Cavens und seine Frau Anne-Elisabeth den imposanten Bau als Waisenhaus errichten. Dieses blieb bis 1954 bestehen. Anschließend wurde dort das Internat des Institut Notre-Dame (technische Schule) untergebracht. 1986 kaufte die Gemeinde Malmedy das Haus, restaurierte es und nutzte es dann für kulturelle Zwecke. Im Laufe der Zeit wurden die Gemeindebibliothek und die Bibliothek der Regionalen Dokumentation in dem Gebäude untergebracht. Bis 2004 bestanden dort das Papier- und das Karnevalsmuseum, die seit April 2011 jedoch ins Malmundarium gezogen sind.