Il a été construit entre 1853 et 1868 à l'emplacement de l'ancien couvent des Dominicains au XIIIe siècle. Il était prévu pour 300 élèves prêtres. La crise des vocations a entrainé sa reconversion et devient en 1983 le centre d'animations Les Unelles.