Tavigny besitzt auch neben dem Schloss ein bemerkenswertes Bauerbe. Die Kirche, mehrere von Mauern umschlossene Gärten, der Bachlauf durch das Dorf und die alten Häuser, teils getüncht, teils aus Sandstein oder Schiefer, gehören zu den vielen Bauelementen im Dorfkern, die neben dem Schloss einen unbeschreiblichen Charme versprühen.