Le château fut construit vers 1688 par Jean-Siméon Garangeau, architecte du Roi de France, pour Charles Gouyon, capitaine-général des garde-côtes de Matignon et gouverneur du Fort la Latte. Datée de 1643, sa chapelle, dédiée à ND-de-la-Joie, serait la partie la plus ancienne. De son jardin à la française, ne restent aujourd'hui que le mur de clôture et ses échauguettes.
Le château est privé et ne se visite pas.