C’est au IXème siècle qu’un seigneur de Ségur, Bertrand, fait bâtir le château de Francs. A l’époque des Guerres de Religion, les protestants de la région le pillent. Durant la Révolution, le château est mutilé, les tours sont rasées ou découronnées, et les archives brulées. Les bâtiments qui subsistent datent du XIVème siècle. Il est situé sur une colline élevée, en première ligne pour la défense du territoire lorsque les troupes arrivaient du pays de Castillon ou de l’Entre-Deux-Mers.