Caux est situé en bordure de la coulée du volcan des Baumes. La première mention du village remonte au IXe siècle. Dans un diplôme, Charlemagne donne à Bernard d’Aniane le village de Caussino près du fleuve Hérault. Etabli dès cette époque à son endroit actuel, le village fut rapidement fortifié. Il a conservé son organisation d’origine et les lignes de remparts sont d’ailleurs toujours parfaitement lisibles. Mais l’élément central du patrimoine communal reste l'église Saint-Gervais-Saint-Protais. Construite au XIIe siècle, elle possède côté sud un clocher-porche monumental depuis lequel on découvre un large panorama sur la campagne environnante et la mer.