Pontedeume es una villa con una profunda historia vinculada durante la Edad Media a la casa de los Andrade, una de las familias más importantes de la nobleza gallega. Pontedeume, y su costa, era un lugar importante en época romana. La actual villa fue fundada en 1270 por un privilegio del rey Alfonso X el Sabio. Otro privilegio en 1371 otorgará el señorío de la villa a Fernán Pérez de Andrade o Bo.
El desarrollo urbano se configura alrededor del eje de comunicación Betanzos-Ferrol, dentro de unas murallas con cuatro puertas, y de la que quedan unos escasos restos que conforman la pared del atrio de la iglesia parroquial de Santiago. En su interior, con un dibujo urbanístico de calles que suben desde la ribera por la falda del monte, atravesadas por otras perpendiculares, se configuran diversas plazas, donde encontramos varios edificios que hablan de su actividad económica y de su importancia social y cultural.
En la silueta urbana destaca una torre al lado de un jardín. La torre es lo único que queda del antiguo palacio de los Andrade, que ocupaba el espacio de la actual plaza y mercado. Probablemente fue construido a finales del siglo XIV por Fernán Pérez de Andrade, quien también construyó una torre en lo alto del monte, en Nogueirosa, y que se puede ver desde la villa. El palacio fue derruido parcialmente en 1911 y definitivamente en 1936. Actualmente en la torre está la oficina de turismo y un centro de interpretación.