Pontedeume é unha vila cunha profunda historia vinculada durante a Idade Media á casa dos Andrade, unha das familias máis importantes da nobreza galega. Pontedeume, e a súa costa, xa eran importantes na época romana. A actual vila ten data de inicio, foi en 1270 por un privilexio do rei Afonso X o Sabio. Outro privilexio en 1371 outorgará o señoría da vila a Fernán Pérez de Andrade o Bo.
O desenvolvemento urbano configúrase ao arredor do eixe de comunicación Betanzos-Ferrol, dentro dunhas murallas con catro portas, e das que quedan escasos restos que conforman a parede do adro da igrexa parroquial de Santiago. No seu interior, cun debuxo urbanístico de rúas que soben desde a ribeira pola ladeira do onte, atravesadas por outras perpendiculares configurando diversas prazas e con edificios que falan dunha actividade económica, social e cultural.
Na silueta urbana destaca unha torre ao lado dun xardín. A torre é o único que queda do antigo pazo dos Andrade, que ocupaba o espazo da actual praza e mercado. Probablemente fose construído a finais do século XIV por Fernán Pérez de Andrade, quen tamén construiría unha torre no alto do monte, en Nogueirosa, e que se pode ver desde a vila. O pazo foi derruído parcialmente en 1911 e definitivamente en 1936. Actualmente na torre está a oficina de turismo e un centro de interpretación.