Autrefois appelé manoir de la Vigne, ce dernier appartient jusqu’à la Révolution à l’abbaye de Jumièges. Les princes capétiens et les visiteurs de l’abbaye y sont logés lors de leurs séjours dans la région.
Le manoir de la Vigne doit son nom à la culture du raisin sur la presqu’île. On y produisait le vin de Conihout diversement apprécié. Si certains se félicitent des bonnes récoltes d’autres le considèrent comme un infâme verjus. Un dicton résume leur opinion : « De Conihout ne buvez pas, car il mène l’homme à trépas ».
La construction du manoir date de 1325 et celle de la chapelle, construite à l’est du manoir, remonte à 1345. L’architecture du lieu montre que le bâtiment a été réutilisé et remanié au cours des siècles.
Au début de l’année 1450, Agnès Sorel (qui donne donc aujourd’hui son nom au manoir), favorite du roi Charles VII, vient le rejoindre. Il est installé à Jumièges pour terminer la reconquête de la Normandie et en finir avec la Guerre de Cent ans. Enceinte, elle loge au manoir de la Vigne et met au monde son
quatrième enfant qui ne survivra pas. Elle meurt peu de temps après, le 9 février 1450 à l’âge de 28 ans, empoisonnée par du mercure. Cet empoisonnement reste un mystère. A-t-elle été assassinée ou bien est-elle morte à la suite d’un surdosage de ce médicament censé soigner ses maux de ventre ?
Aujourd’hui, propriété privée, le manoir est l’objet de restaurations. Il est protégé au titre des Monuments Historiques depuis 1993.