Du château féodal ne subsiste que la base de certains murs et tours. Les parties hautes furent reconstruites et crénelées après l'incendie de 1868. Depuis le XVès. le château était devenu un lieu non plus fortifié, mais agréable à vivre, avec une belle terrasse orientée au sud. Le ruisseau qui longe aujourd'hui le fond de la cour amenait l'eau nécessaire à un bel étang. Le parc garde encore quelques arbres remarquables, vestiges de ce temps. Les grilles de la cour du château sont aux armes des Beaufort-Spontin, elles ont été déplacées, on voit encore les traces des anciennes bases. Le porche d'entrée actuel date du début du XIXès., il est antérieur à la construction de l'Hôtel de Ville (1840-1841).