Situé au sud-est de Casson a abrité de hauts et puissants seigneurs. Le plus illustre de ses occupants est François Dollier de Casson (1636-1701). Capitaine de cavalerie puis prêtre, il fut envoyé en mission au Québec et dessina une partie des plans de Montréal (la ville lui doit cette structure caractéristique en damier, bien avant Philadelphie). A Montréal, une rue, plusieurs édifices, une maison de retraite…portent aujourd'hui le nom de Casson.
La façade actuelle du château est due à Ceineray, l'architecte de l'hôtel qui accueille la Préfecture de Nantes. Le Château est aujourd'hui classé pour ses lions et son perron auquel on accède par une belle allée de magnolias (le domaine est privé).