S’il date du Moyen-âge, c’est au 19ème siècle qu’il fut restauré dans l’esprit de la Renaissance par un ophtalmologiste parisien, Arthur de Montméja, qui souhaitait lui donner un aspect « château de conte de fées ». Mais après avoir encore subi les affres du temps c’est M. Pierre-Paul Grassé, académicien des sciences, né à Périgueux en 1895 et décédé en 1985 qui lui redonna ses lettres de noblesse dont on peut admirer les lignes aujourd’hui. Ce château n'est malheureusement pas accessible au public.