Pendant longtemps, la rue Neuve est l'unique voie d'accès de Vannes à Auray. Le plan cadastral de 1872 indique qu'elle longe la rivière du Loc'h à flan de coteaux avant de déboucher sur la place Saint-Sauveur par un étroit passage. Cette entrée de ville, peu pratique, entraîne la réalisation d'une nouvelle voie en 1749 : le quai Neuf. La destruction de deux maisons est nécessaire à la création de cet accès.
Jusqu'au XIXe siècle, le quartier se limite aux quelques habitations situées sur le port, dans la rue Neuve et la rue du Petit Port. Au-delà, les habitations sont réparties de façon éparse, autour de l'église par exemple. Passé la rue du Budo et la rue de la Pie, commence la commune de Pluneret. En 1865, Auray annexe ces terrains jusqu'à Kerdroguen et Kerplouz. La construction de lotissements à cet endroit donne peu à peu au quartier son visage actuel.