A la fin du Bas-Empire, Arlon devint un castrum (place fortifiée). D’un peu plus de 800m de pourtour, épais de 4m en moyenne et haut d’environ 8m, le rempart était percé de portes imposantes et jalonné d’une vingtaine de tours. La tour « Neptune » est la réplique identique de la tour « Jupiter » située à proximité de l’Hôtel de Ville. Ce petit musée montre les vestiges d’une de ces tours, dégagés lors de fouilles en 1948. Dans les fondations de la muraille, on distingue les restes de pierres sculptées provenant du « vicus », dont un superbe bas-relief représentant Neptune.