Eind 9de eeuw, eerste versterkte vesting. 10de eeuw, bouw van een donjon. 13de eeuw, de site wordt versterkt met torens rondom. 1437, Chimay komt in handen van het geslacht de Croÿ: bouw van een woonvleugel en een toegangsbrug over de Eau-Blanche. Het kasteel wordt regelmatig gerestaureerd (oorlogen en 7 branden): 16de eeuw door Philippe III de Croÿ en 17de eeuw door Charles III de Croÿ. Na de Franse Revolutie renoveren François-Joseph de Riquet de Camaran en Thérésia Cabarrus het kasteel om het een actuele aanblik te geven. Actueel betekent hier een Engelse neogotische stijl met een barok theater (200 plaatsen), een variatie op het eerste theater van het kasteel van Fontainebleau dat in 1863 klaar was. Sinds 2011 en het derde huwelijk van de Prince Philippe gaat de renovatie verder: kunstenaarswoning, restaurant, pedagogische zaal ... 2 rondleidingen per dag met iPad.