Cette voie tient son nom depuis 1905 de la probable présence d'une borne de pierre — qui a également donné le nom de la rue du Gros-Caillou —, délimitant historiquement les domaines fonciers de l'abbaye Sainte-Geneviève et de l'abbaye de Saint-Germain-des-Prés. Ce rocher fut démoli à l'explosif vers 1738. En 1956, une partie de la voie express rive gauche empiète sur celle du port de Solférino. Avec l'aménagement des berges, découvrez les jardins flottants et le parcours sportif.