Une poterne est le nom donné à une petite porte intégrée aux murs du Château. Elle livrait aux habitants un passage à l’insu de l’assiégeant. On distingue encore nettement les contours de cette poterne, même si le système défensif qui la protégeait est aujourd'hui en ruines. Lors du passage des troupes de Louis XIII et de Richelieu, François de Labeaume, propriétaire à l’époque du Chastelas, obtint la reconstruction par corvée d’un château dans le nouveau bourg. Les habitants mirent dix ans à bâtir ce château non défensif et durent lui payer 10 000 livres. C’est le Château-Mairie actuel que l’on peut apercevoir en plein cœur de Vallon.