
En grimpant la pente de la petite vallée du ruisseau du Plessis, traversant le bois de douglas, de chênes et de châtaigniers de Kergoff, on aperçoit sur les hauteurs les bâtiments de la Maison de retraite Ti Aïeul qui occupe l'emplacement du village de Kergoff. Ce lieu abritait autrefois une des 24 seigneuries attestées à Caudan sous l'Ancien Régime. Il ne reste plus aujourd'hui que deux manoirs à Keraud et Kerguen pour témoigner de ces lieux nobles, dépendant de l'importante seigneurie de Kemenet-Héboé au Moyen Age et rattachésà la justice de la Sénéchaussée d'Hennebont sous l’Ancien Régime.
Le cadastre napoléonien de 1818 révèle les plans du château de Kergoff organisé en U autour d'une cour, avec un bâtiment carré central et des bâtiments annexes de part et d'autre. L'accès se faisait au sud par un chemin venant du bourg, offrant une vue sur la façade du château. Un mur de clôture séparant la cour en deux délimitait la partie privative de la partie agricole. Déjà hospice avant-guerre, cepatrimoine fut brûlé par les Allemands en 1944. Il n'en reste rien, à l'exception du four à pain déjà visible sur les plans de l'époque et un tilleul plus que centenaire.