
Monsieur de La Noé, ancien propriétaire, pensait que le château précédent s'élevait à la "Hêtraie", située au-dessus du cimetière actuel.
Le château actuel daterait du temps de Louis XVI et est dû aux La Palu. Il est tout en lignes droites, ce qui s'accorde avec les tendances de l'époque. Posé sur des caves voûtées, il est rectangulaire. Les 3 niveaux du château sont éclairés par 11 fenêtres. Le second étage est mansardé sous combles. Le Château est bâti en pierres du pays extraites des "boves" (terme augeron désignant les grottes). Au rez de chaussée, un large couloir dallé noir et blanc dessert toutes les pièces habitables.
Il fut l’un des repères de la chouannerie. En 1797, Louis de Frotté prenait le commandement des royalistes de Normandie. La chouannerie trouvait dans le Pays d'Auge un terrain favorable. Son poste de commandement se trouvait chez les La Palu, au château de Ménil-Hubert, lorsqu'il monta l'attaque de Gacé le 20 janvier 1800. Soixante ou quatre-vingt des siens attaquèrent la ville qui n'opposa aucune résistance. La colonne mobile républicaine s'était enfuie à leur approche, abandonnant vivres et munitions dont ils s'emparèrent avec l'accord de la municipalité. La capture et l'exécution de de Frotté en février 1800 mirent fin à ses succès. Ses chouans durent faire leur soumission.
A la suite de la famille des La Palu, le château est acquis en 1823 par Auguste René Pinson de Valpinçon, appartenant à une famille de négociants en toile de La Ferté Macé. Son fils Louis-Augustin-Edouard était très lié avec Ingres (1780-1867), dont une des toiles, donnée par lui au Louvres, est le portrait d’une baigneuse vue de dos, et précédemment accompagnée d’une plaque métallique portant ce titre « La Baigneuse, dite de Valpinçon ». Louis Augustin eut 4 enfants : Paul, Hortense, Louis, Marie.
Il était également ami depuis l'enfance avec le peintre Edgar Degas (1834-1917), qui fut aussi le professeur de son fils Paul au lycée Louis-le-Grand. Durant 30 ans, à l'invitation de Paul, l’artiste réside l’été dans ce château appartenant aux familles Fourchy et de Valpinçon. Séjournant tout d’abord dans le château, son ami lui attribue ensuite le pavillon de chasse du domaine, qui devient le cottage attitré du peintre. Ce fut là que posa Mademoiselle Hortense Valpinçon pour un portrait qui est exposé aujourd'hui au Minneapolis Institute of Art.
Sur le domaine, se trouvait également : une pisciculture, une briqueterie, un moulin (remplacé plus tard par une scierie), deux serres, un lavoir comprenant une laverie à deux bassins et une buanderie dans le grenier avec chaufferie au bois.
Le château, ses dépendances et une partie du parc sont inscrits au titre des Monuments historiques.
Propriété privée, ne se visite pas.