Au cœur du domaine de l'Oberhof, l'un des noyaux primitifs de la ville, un prieuré de Saint-Pierre est cité dès le Xe siècle. Au XIIe siècle y est édifiée une église romane dotée de deux tours, démolie vers 1740, pour être remplacée par l'actuel édifice baroque. Elevé de 1742 à 1750 sous la direction de l'architecte Jean-Jacques Sarger, ce bâtiment a fait office de chapelle pour le collège des jésuites, édifié entre 1714 et 1720 à l'emplacement de l'ancien prieuré.