

Het Kasteel van Olly is een herenhuis gebouwd rond 1830, waarschijnlijk op de plaats van een vroegere molen. Het ligt verscholen aan de samenvloeiing van de Hatrelle en de Givonne.
Zijn industrieel verleden werd eerst gekenmerkt door een steenbakkerij, reeds gedocumenteerd in 1858, en bovenal door een spinnerij, de hoofdactiviteit van het terrein. Deze textielindustrie paste in de bredere dynamiek van de regio Sedan, bekend om zijn Point de Sedan-tapijten, en profiteerde van de waterkracht van beide rivieren alsook van de spoorlijn "Le Bouillonais". Een elektrische turbine gevoed door een stelsel van kanalen en vijvers leverde de nodige energie voor de werkplaatsen.
Het kasteel is ook een plek met een rijke geschiedenis: het verwelkomde de Nederlandse ambulance-eenheid tijdens de Slag bij Sedan in 1870, en was de plek van executies tijdens de Bezetting, met name de moord op verzetsstrijder en gendarm Jacques Wenzel op 28 augustus 1944, herdacht door een gedenkstenen.
De industriële activiteiten kwamen tot een einde in het begin van de twintigste eeuw, tussen een verwoestende tornado in 1905 en een brand in 1908 die de bijgebouwen van de spinnerij vernielde en ongeveer veertig arbeiders werkloos achterliet.
Verworven in 1961 door de schilder Lucien Ardenne, en vervolgens in 2015 door Jérôme Counet en Jérôme Antoine, is het kasteel momenteel in restauratie.