Cet ancien donjon d’habitation, de style roman, appartenait au castrum qu’Hugues d’Enghien, fondateur de la ville, fit construire vers 1160-1165. En partie démantelé en 1194 par le comte de Hainaut, le donjon a connu une profonde restructuration au 16e siècle et quelques remaniements au 19e siècle. Bâti en moellons de schiste et de grès, le donjon primitif présentait une cave à puits, un rez-de-chaussée domestique partiellement enterré (il s’agit des caves actuelles), d’un étage résidentiel et d’un comble jadis couronné par un chemin de ronde à créneaux. Le rez-de-chaussée, divisé en trois salles autrefois voûtées, ne comportait aucune ouverture vers l’extérieur. Le premier étage était accessible au moyen d’échelles aisément amovibles en cas de siège ; c’était donc uniquement par l’intérieur du bâtiment que l’on pouvait accéder au rez-de-chaussée. Les façades au sud côté rue et au nord côté jardin sont reconstruites en style gothique dans la seconde moitié du 16e siècle. C’est également à cette époque que le bâtiment est recouvert d’une ample bâtière d’ardoise. La logette à l’ouest et la tourelle d’escalier qui enjambe la ruelle bleue à l’est furent bâtis au même moment. Le rez-de-chaussée fut totalement recomposé au début des années 1980 lors de la réaffectation du lieu en musée communal de la Tapisserie à la différence de l’étage, avec ses deux fenêtres à double croisée et du pignon à gradins, construits en briques et calcaire, qui ont conservé leur état du 16e siècle.
Classement comme monument le 10 mai 1944