Elle doit son nom au couvent des Carmes fondé en 1401. La chapelle fut transformée pendant la Révolution en salle de réunion puis en boucherie pour l'armée. Le couvent fut détruit en 1804.
A proximité du Couvent se trouvait le Couvent des Bénédictines (1634 à 1792).