Il ne subsiste aucun vestige du manoir primitif, dont la fondation remonterait à l’an mille. Eder est le nom d’un compagnon de Bernard, fondateur de La Roche-Bernard. Les seigneurs du lieu vivent en étroite relation avec les barons de la Roche-Bernard et remplissent auprès d’eux des fonctions administratives et juridiques. Ils possèdent en particulier la maîtrise des eaux et forêts et tiennent un auditoire à Missillac pour juger les délits de pêche et braconnage commis sur le territoire de la baronnie. L’édifice actuel est construit pour le seigneur Jean de la Brousse. La chapelle privée du 19ème siècle, l’ancien pigeonnier de 450 boulins du 17ème siècle, le four à pain commun, évoquent l’important rôle que la Haye-Eder a eu dans le passé.