

La première mention d'un pont en pierre date du XIIIe siècle. Il se dégrade régulièrement à cause des forts courants des marées. Il est sans cesse refait à neuf. On l'appelle d'ailleurs Pont-Neuf en 1464. Sa forme actuelle remonte au XVIIIe siècle.
À l'extrémité droite du pont, le bâtiment d'octroi est encore visible. Les octrois sont des taxes très anciennes datant du XIVe siècle. Pour prélever ces taxes, l'administration communale installait, aux entrées de villes, des bâtiments d'octroi où les personnes entrant et sortant devaient déclarer leurs marchandises.
L'argent perçu constituait une des premières ressources d'Auray et servait souvent à l'entretien de la voirie, des quais et du pont.
Au-delà apparaît le Pavillon d'en bas servant d'auberge au XVIIIe et XIXe siècles. Cet édifice doit probablement son nom au pavillon du château dont les ruines se trouvaient derrière. C'était un poste avancé qui contrôlait au Moyen Âge le passage du pont de Saint-Goustan. L'auberge prend d'abord le nom de "Grand Pavillon" puis de "Pavillon d'en Bas" quelques années plus tard.