Perché à 519 mètres, le rocher de Caylus est l’ancien support du château des comtes de Caylus, édifié au XIe siècle. Ce château, détruit en 1238, formait le cœur d’un ensemble fortifié qui protégeait la population. En 1808, les dernières parties de l’enceinte furent démantelées pour aménager la route de Tiergues. Ce lieu raconte une partie méconnue de l’histoire féodale et des luttes de pouvoir en Aveyron.