Au XIVe siècle, un second rempart devient nécessaire pour protéger la ville de Romans, en expansion. Le projet est lancé en 1357 mais il faut plusieurs années pour le terminer. Il représentait un arc de cercle de 1840 mètres autour de la ville médiévale dont la corde était l’Isère. Ce rempart couronné de créneaux et percées de meurtrières, et précédé d’un fossé, constitue encore le mur du cimetière.
Il était percé de sept portes fortifiées, dont la porte des Chapeliers, construites en pierre de taille, ouvertes du côté de la ville avec guérites et mâchicoulis, et coiffées d’un toit conique. La démolition du rempart commença en 1832.