Elle doit son nom au couvent des Carmes fondé en 1401. La chapelle est transformée pendant la Révolution en salle de réunion puis en boucherie pour l'armée. Le couvent est détruit à partir de 1804.
A proximité du Couvent des Carmes se trouvait le Couvent des Bénédictines de 1634 à 1792.