Le château du premier comte d’Arlon, Waléran, fut érigé sur la butte au XIe siècle puis détruit en 1558 avec les remparts de la ville par les troupes du Duc de Guise. Lorsque les Pères Capucins s’installèrent à Arlon en 1621, ils firent construire leur couvent sur les ruines du château. En 1681 une enceinte bastionnée de type « Vauban » fut érigée, transformant le couvent en citadelle. Victime de la foudre en 1719, l’église fut dédiée à Saint-Donat. L’ancien couvent des Capucins a été définitivement supprimé en 1796. Seule l’église subsiste et fut réaménagée au XXe siècle.