Ce château se situe en bordure de la rue Saint-Martin, entre la rue du Paradis et la place Saint-Martin.
Son histoire remonte à la fin du Moyen-Âge, époque où il était le centre de la seigneurie del Haize, une petite seigneurie foncière dépendant de la puissante famille des Walhain. Mentionné pour la première fois en 1404, le château a été complètement réaménagé en 1661, comme l’attestent les ancres de sa façade.