Le nom de ce domaine a pour origine une tour de gué, protégeant les habitants des pirates. La propriété est achetée par la célèbre famille Ségur.
Le château actuel date du XIXe siècle. Dans les années 60, Latour a joué un rôle important dans l'histoire de la vinification : ce fut le premier grand cru a utiliser des cuves d'acier inoxydable !