Le Fort La Latte, aussi appelé château de la Roche Goyon est un château fort construit au XIVe siècle par le seigneur de Matignon, Étienne III Gouÿon. La construction du château commença dans les années 1340, son donjon date des années 1365-1370.
En 1379, à la suite du retour d'exil du duc de Bretagne Jean IV, le château fut assiégé par Bertrand Du Guesclin. Le château est attaqué et pris une seconde fois lors des guerres de Religion au XVIe siècle, cette défaite marquant un temps d'abandon de l'édifice. Ce n'est qu'au XVIIIe siècle, sous Louis XIV, que le château reprend son intérêt stratégique et est bastionné.