Cette porte était constituée de deux tours encadrant son entrée. Elles étaient disposée de part et d'autre de l'église : celle de gauche utilisé tout d'abord en tant que prison fut acquise par les Récollectines afin d'y établir leur brassine pour leur usage personnel. Cette porte doit bien sûr son nom à la proximité de la chapelle castrale Notre-Dame.