Il est vraisemblable que le bâtiment le plus ancien soit la tour sud du logis, et elle pourrait dater du 15e siècle. Le logis se compose de trois corps de bâtiments accolés. Les différents chaînages sont visibles sur l'élévation orientale : l'un après la première travée, l'autre après la seconde travée. Il est possible que la première partie date du 16e siècle, mais les deux autres ne semblent pas être antérieures au 17e siècle.
La date 1608 est inscrite sur le linteau d'une baie d'une habitation accolée au pignon sud du logis. Elle pourrait être la date de construction du second corps de bâtiment, le troisième étant un peu plus tardif, notamment avec la présence de l'escalier droit en pierre. Les premières sources indiquent qu'en 1668, la Bussière appartient à Jean de Saint-Fief, issu des seigneurs du Mazet en Périgord.
Le manoir de la Bussière est construit en retrait de la route, sur le côté oriental d'une vaste cour herbue plantée d'arbres. Les dépendances occupent le côté Nord, et un four le côté sud. Devant l'élévation orientale du logis se trouvent une terrasse, des jardins en contre bas et un étang.
source : inventaire général du patrimoine culturel région Nouvelle-Aquitaine