Rilhac-Xaintrie se situe à la frontière du Limousin et de l’Auvergne, au levant de la Xaintrie. Les vaches de race Salers et l’habitat typique trahissent l’influence des deux pays.
Le bourg est surveillé par le robuste château de la famille Rilhac, la construction de ce dernier a débuté au XIVème, puis il a été remanié et embelli début XVIème dans le style gothique. Il se compose d’un grand corps de logis, d’une tour d’escalier à vis sur cour en façade sud et d’une grosse tour ronde dans l’angle nord ouest, dernier vestige militaire. A l’extérieur, une cour en terrasse, un verger, une grange auvergnate, une maison paysanne accolée au corps de logis et un parc sont clos de murs en pierres sèches.