Le site est abandonné au XIVe siècle, période de troubles généralisés : guerre de Cent Ans, peste noire, famine, affaiblissement démographique, désertion des hameaux… Le paysage lui-même retranscrit ce reflux du peuplement de la campagne française : de larges étendues défrichées et cultivées sont abandonnées et reconquises par la forêt. Mais à la fin du XIVe siècle, un mouvement inverse s’amorce et se traduit en particulier par une recherche d’habitat plus confortable, d’accès plus facile, où le caractère défensif du site n’est plus un critère incontournable. C’est à cette époque que le château du Canourgue et celui de Calberte sont abandonnés.