L’édifice actuel date du XVIIe siècle. Il fut édifié, sur les structures d'une ancienne demeure seigneurale du XIIIe siècle, par la riche famille Goddes de Varennes qui en fit l'acquisition en 1603. François Goddes de Varennes (1643†1701) acheva en 1699 l’agrandissement du château que son père Charles-François Goddes de Varennes (1593†1680) avait fait réaliser.
La propriété resta entre les mains de cette famille Goddes de Varennes jusqu'au début du XIXe siècle, puis changea de patronyme tout en restant dans le giron familial, jusqu'au XXe siècle.
La municipalité d'Avrillé créa une Société d'économie mixte, chargée de la restauration et de la gestion du château et de ses dépendances et qui a été chargé de l'expropriation des propriétaires en 1982.
Les travaux de restauration, supervisés par les architectes des Monuments Historiques, durèrent 26 ans et s'achevèrent en 2008.