En 1143, l'abbé de Chancelade, Élie Audoin (Élie de La Garde), décide d’y construire une chapelle dédiée à saint Jean-Baptiste. Elle est décorée par onze chapiteaux. L'arc triomphal de l'entrée a deux chapiteaux.
La chapelle est en partie détruite en 1172 quand des soldats amenés par Henri II et son fils Richard Cœur de Lion doivent parcourir la campagne pour faire le siège du « bourg du Puy-Saint-Front » (Périgueux). La chapelle est restaurée rapidement et la première travée de la nef est remplacée par une voûte en berceau.
Pendant les guerres de Religion, le prieuré est ravagé deux fois par les protestants. Vers 1575, l'abbé François de Brianson décide alors de protéger le prieuré par des fortifications. Une tour avec mâchicoulis est construite à l'angle nord du bâtiment primitif et une pièce est ajoutée au-dessus de la chapelle romane pour servir de logement aux défenseurs. Cette pièce est accessible par un escalier placé contre la façade latérale sud de la chapelle. Des meurtrières sont ouvertes dans les murs de la chapelle. D'autres défenses extérieures ont aussi été construites et des fossés ont entouré tous les bâtiments.
Le prieuré a été classé au titre des monuments historiques le 3 août 1892 et le domaine est inscrit depuis le 19 mars 2008.