Dominant de 150 mètres le val de Sancey, il occupe l'emplacement d'un oppidum gaulois puis d’un castrum romain.
Un 1er château sera édifié à la fin du 12ème s. par Thibault de Belvoir. Les bâtiments datent de la fin du 15ème et du début du 16ème s. lorsque Les Cusance reconstruisent le château après sa destruction par Louis XI. Racheté et restauré par le peintre Pierre Jouffroy, en 1955, il y a désormais 20 salles ouvertes à la visite et présentant mobilier, armes et objets du 16ème au 20ème s.