Initialement nommée Ker Albert ou Château de Pellan, cette propriété est construite en 1880 par le Comte de Pellan, avant d'être cédée à la famille de Couessin qui lui donne le nom de Brécéan.
A partir de 1915, Brécéan abrite l'association des "Orphelins des armées", puis devient après la Seconde Guerre Mondiale la colonie de vacances "Les enfants de cheminots". Cette résidence aristocratique est cédée à la municipalité du Pouliguen en 1984 pour devenir l'Hôtel de ville.