En el caso del Castillo de Vimianzo la “torre del homenaje” no es la más grande, pues este mérito le corresponde a la torre que se orienta hacia el este, ni tampoco es la primera, ya que se descubrieron los posibles pilares de una torre del homenaje en la parte central del patio de armas. Sin embargo, la torre del homanaje sí que es la más alta y la que conserva su merlaturas completa: con sus canzorros de seis molduras, sus matacanes finalizados en mirlos, almenas y saeteras. Constituía el último recurso defensivo donde guarnecerse de los ataques enemigos, reflejado en los pequeños huecos de las diferentes ventanas (la abocinada y la saetera) que apenas dejan pasar la luz al interior del edificio para no restar solidez al muro, excepto la ventana aximinada de la parte más alta de la cara norte, de época moderna. Además, la torre presentaba una entrada compleja, pues solamente era posible acceder mediante una escalera de madera que llegaría hasta la puerta de falso arco de medio punto en el lado norte.
Entre los diferentes episodios bélicos acaecidos en esta fortaleza, tal vez el más conocido sea el ataque de los Irmandiños de Terra de Soneira en 1468 que finalizó con su destrucción parcial. También fue intensa, la defensa protagonizada por el alcaide Xoán Mariño de Lobeira a las órdenes del arzobispo Alonso II de Fonseca, al mando de cuarenta hombres, para defenderse sin éxito de Lopo Sánchez de Moscoso en 1472. Desde esta fecha, y hasta el año 1870 (casi cuatrocientos años) el Castillo de Vimianzo estaría asociado al linaje de los Moscoso, los poderosos Condes de Altamira.