Le Château appartenait à la Famille D’Allemaigne ou d’Allemagne dès l’an 900 jusqu’en 1670. Ils furent les premiers seigneurs de Nalliers et Sénéchaux du Poitou. Le château fut construit sur un plan d’architecture militaire aux fins de défense. Son emplacement fut, à l’origine, un arrêt romain. Il possédait 4 tours, il reste la tour nord-est et la tour sud-ouest. Une légende dit qu’un tunnel, long de 5 km, passant sous la Gartempe et reliant le château fort à une maison de garde aurait existé...
La plupart des créneaux ont été transformés en fenêtres. Il a été plusieurs fois remanié. Nalliers doit son importance historique à cette puissante famille D’Allemaigne. En 1670, le château devint la propriété de la famille de Cognac jusqu’en 1741, puis par mariage la famille de Turpin jusqu’en 1783. En 1792, le château fut confisqué comme bien national mais en 1801, il fut racheté par Nouveau-Dupin, puis une succession de propriétaires : du Coudray etc...