Construit en 1681, le premier bâtiment fut au départ un couvent chargé de l'éducation catholique des jeunes filles protestantes. Durant la révolution française, il est transformé en prison. Par un décret du 4 juin 1811, le bâtiment est cédé par le gouvernement à l'administration des douanes qui l'utilise comme caserne pour ses agents du service des brigades. Son âge d'or se situe certainement au milieu et fin du XIX ème siècle. Son architecture particulière en forme de U avec une cour intérieure fermée par un portail qui aujourd'hui disparu. En 1985, le batiment est vendu à la mairie des Sables d'Olonne afin d'y accueillir le nouveau village.
Quai Garnier En face, le port de commerce a été installé au XIXe siècle. Il comporte un bassin à flot de 4 ha, des zones de stockage de marchandise, une sablière et une zone dédiée à l'entretien et à la construction navale. Le bâtiment de l'Entente Cordiale, réhabilité en 2017, est le témoin de l'organisation en coopérative des pêcheurs sablais dans les années 1940