Na pedra armeira situada na primeira porta de entrada á fortaleza atopamos representada a unión matrimonial que vai permitir a consolidación do señorío dos Moscoso a partir do século XV, continuando no tempo aos señoríos dos Mariño e o Condado de Trastámara. Na parte esquerda deste escudo de armas observamos a cabeza arrincada do famoso lobo dos Moscoso, coas correspondentes regueiros de sangue na parte inferior. E na parte dereita aparecen os roeis dos Castro e os caldeiros dos Lara. Polo tanto, esta imaxe nobiliar é resultado da unión dos Moscoso cunha poderosa familia mediante o matrimonio con Juana de Castro e Lara.
Precisamente será o fillo de Rodrigo e Juana, Bernal Yáñez de Moscoso, dende o seu posto de Pertigueiro Maior de Santiago o que comece coas hostilidades cos bispos compostelás, primeiro con Rodrigo Luna e despois con Alonso II de Fonseca, chegando a ter preso a este último na Torre Leste do Castelo de Vimianzo. Pero non será el, senón o seu sobriño, Lopo Sánchez de Moscoso, quen estenda o señorío dos Moscoso polas actuais Terras de Soneira e acade o título de I Conde de Altamira.
En 1870 a irmá do XV Conde de Altamira vende esta propiedade a Ramón Martelo, presidente da Deputación de A Coruña. E será o seu fillo, Evaristo, concelleiro de A Coruña e poeta en lingua galega, o que acondicione o castelo como residencia de verán. Posiblemente é o responsable da pedra armeira da que falamos antes, como a súa interpretación nobiliar da historia do castelo.