Plusieurs édifices d’aspect et de vocation très différentes se sont succédés au fil des siècles. Au XIe siècle, c’est tout d’abord une véritable forteresse appelée le « Vieux Chastel » à l’intérieur des remparts, transformé au XIVe siècle en résidence pour les évêques-comtes de Dol. Devenu vétuste, ce château est remplacé en 1753-1754 par un nouveau palais finalement rasé en 1887. L’édifice actuel, construit en 1888 pour servir de collège, abrite depuis 1999 le Cathédraloscope, centre d’interprétation des cathédrales.