La rue tient son nom du couvent Notre-Dame de Pitié, fondé par Claude de Lorraine, premier duc de Guise. Situé dans le prolongement du faubourg Saint-Jacques, elle a été parcourue par l’impressionnant cortège funéraire de Claude de Lorraine, qui a permis de mener le corps prié pendant près de trois au sein du couvent jusqu’à la collégiale Saint-Laurent, qui appartenait à l’ensemble castral. Le couvent devient au XVIIIe siècle le couvent des Annonciades, inscrit au titre des Monuments historiques depuis 1996.