De hoge buitenmuur van de tuin bij de kerk is voorzien van een oude poort. Op deze plek bevond zich het huis van de prevoost. Op het afgeronde latei zien we de inscriptie 'DOMINUS - PROVIDEBIT', aan weerszijden van het wapenschild van de familie 'Amezaga'. Mathias, met Spaanse roots, werd in 1615 in Aken geboren en overleed in 1666. Hij werd provoost in Limbourg in 1652.Aan de noordelijke gevel van het huis met nr. 15 bevindt zich een oude grafsteen met een inscriptie in het Nederlands. Het is de grafsteen van Anne de Hack, dochter van Antoine, burgemeester van Limbourg. Ze trouwde met Willem van Gallen, commissaris voor levensmiddelen en munitie ten dienste van de Staten-Generaal. Ze overleed in Limbourg in 1635. Aan de zijkant bevindt zich een oude, afgesloten put.