Le rayonnement de la cité se poursuit avec la fondation, en 1652, d’un couvent d’Ursulines. Les religieuses étaient chargées de l’enseignement et de l’accueil des jeunes filles. Fermé à la Révolution, le couvent est transformé en 1822 en petit séminaire. Jusqu’en 1975, des jeunes finistériens y sont instruits. Le petit séminaire ou collège Saint-Vincent compte jusqu’à quatre cents élèves en 1900. L’ensemble des bâtiments se compose d’une chapelle Saint-Vincent, réalisation ambitieuse, édifiée en 1905 par Jean-Marie Abgrall, prêtre, historien et architecte, d’un ancien séchoir à linge et d’annexes entourés par un mur. Les bâtiments, longtemps laissés à l’abandon, connaissent aujourd’hui une nouvelle jeunesse (pôle médical, médiathèque, office de tourisme, espace culturel...).