Dès le 15e siècle, est attesté un premier château médiéval. Une gravure de 1705 montre le château comme un ensemble de trois corps de bâtiments en équerre entouré de douves. Une fontaine se tient au centre de la cour. Le seul élément subsistant de ce, château primitif est une plaque de cheminée scellée dans le mur extérieur du gymnase
En 1786, Marc-Henri Pilleur (1737-1804), président de la cour des Comptes et seigneur de Brévannes fait construire un nouveau château dans le style Louis XIV.
En 1803 le château est vendu à Pierre Marie Huget de Varange (1759-1818) riche passementier lyonnais qui sera le maire de 1806 à 1817. Au cours du 19e siècle le domaine appartient à la famille Sarchi, qui y vivra de 1824 à 1874, date à laquelle le prince Achille Murât (1801-1847), neveu de Napoléon, en fait l’acquisition.
Outre le bâtiment de 1786, doté d’un corps principal à trois étages flanqué de deux ailes à deux étages, à couverture d’ardoise, on peut toujours voir le colombier en toit en clocheton et l’orangerie, transformé en chapelle.