L’édifice a été construit à la fin du XVIe siècle par Jean Avril, trésorier des Etats de Bretagne. Le bâtiment est aussi appelé la «maison du canon» en raison du canon ancré dans l’angle du pignon. Il provient de l’Inflexible, un navire mis en déroute lors de la Bataille des Cardinaux en 1759 et qui est venu s’échouer non loin de La Roche-Bernard. Transformé en hôtel de ville en 1849, il servait également de lieu de rendez-vous aux dockers attendant d’être envoyés charger ou décharger des navires.