Le château, inscrit à l’Inventaire des Monuments Historiques, est un édifice en forme de rectangle de 40 m de long, aux deux façades flanquées de pavillons. Sur la façade Sud Ouest, on peut voir un escalier à double volée à garde-corps en fer forgé. C’est sans doute Frédéric de Chavirey qui fit construire le château qui existait certainement en 1636 au moment du siège de Dole. En 1746, la famille de Camus en devint propriétaire, puis par alliance en 1787 avec les Chifflet (célèbre famille d’érudits bisontins). Monsieur de Camus fit raser les ponts-levis et les fortifications du château en 1789, c’était un aristocrate «inconscient», il s’attira ainsi les railleries des gens du village.