Sur un promontoire rocheux, le château domine la vallée de la Graine et de la Vayres. La partie la plus ancienne de cet édifice, bâtie par les vicomtes de Rochechouart, date du XIIe siècle. Elément défensif dans un territoire marqué pendant près de trois siècles par les conflits entre la France et l'Angleterre, le château se revêt au XVe siècle d'éléments décoratifs (colonnes torses, bas reliefs) témoignant de son nouvel usage.
Lors de la Révolution française, le château est pillé, son mobilier et ses archives dispersées. Le Département y installe le Musée départemental d'art contemporain de Rochechouart et permet ainsi au public de le visiter de manière permanente.