Presente en la bandera y el escudo de la villa, emblema para todos sus habitantes, es la torre del homenaje del desaparecido Castillo de Sarria. Se cree que fue construido en el siglo XII, destruido y reconstruido por los irmandiños un siglo después. Se utilizó como prisión y después se abandonó; hoy en día está en desuso y en venta, comido por la vegetación, a pesar de estar situado en el centro histórico.