La partie basse du bourg est coincée entre la Meuse et la colline qui porte la partie haute : Dun-Haut. La colline est boisée et surplombe la vallée de la Meuse et la partie basse du village d'environ 80 m. La commune doit son nom à cette colline fortifiée : Dunum en langue celte.
Au sommet de la colline, on peut voir les ruines d'un château et une église du xive siècle.
Le nord et l'ouest de la commune sont délimités par la Meuse. Le sud de la commune est occupé par les bois de Chênois et de Bussy.
Au XIe siècle, Godefroy II de Basse-Lotharingie, comte d'Ardennes édifie un château sur la colline, que les sires d'Apremont complètent en 1402 par une enceinte fortifiée. Le duc de Bouillon, père de Turenne s'empare de la forteresse en 1592. Sur ordre de Louix XIII, le château est démantelé en 1642, et en 1648, Anne d'Autriche fit don de la ville au Grand Condé. La ville haute fut en grande partie détruite au cours de la Première Guerre mondiale.