
Au XIIIe siècle, la « Tour ronde de Vellefaux » est construite sous le nom de la famille de seigneurs qui possédait le fief. Elle fait alors partie des remparts de la ville d'Arbois.
Au début du XVIe siècle, Nicolas Perrenot de Granvelle (1484-1550) chancelier, garde des Sceau et homme de confiance français de Charles Quint, achète le château à Guillaume de Velfaux.
À la fin du XVIe siècle, après la conquête de franche-comté(alors sous dominationdu Comté de Bourgogne, lui-même possession des Habsbourg d'Espagne) par louis xiv le château devient la propriété de la famille Pécauld, officiers des duc de Bourgogne. Le château obtenant ainsi son nom définitif « Château Pécaud ». Le château reste dans la famille Pécauld jusqu'à la Révolution où il sera vendu comme bien national.
En 1829, le château est racheté par la ville d'Arbois. Le bâtiment est alors un presbytère puis une école de garçons, mais son état de délabrement contraint la ville d’Arbois à construire une nouvelle école.
Le château est inscrit aux monuments historiques en 1981 et abrite depuis 1993 le musée de la vigne et du vin (vignoble du Jura).