Ce château est très ancien, puisque la première mention qui en est faite date de 920, dans un acte de donation de cette seigneurie de Richard de Saint Sauveur à son fils Neel. Depuis cette date, se sont succédées 17 familles et 35 propriétaires. Parmi les faits marquants, le roi Jean Sans Terre a passé deux nuits dans le château (12 mai 1194 et 23 décembre 1203).