Le 27 octobre 1787, l’Amiral de Rochegude s’installe dans la propriété. Il aménage le jardin arrière et fait planter le parc s’inspirant des jardins tracés par Le Nôtre. Il plante les arbres, qu’il choisit avec le plus grand soin.
Mort sans descendance, il lègue ses biens à la Ville d’Albi, parmi lesquels son hôtel particulier avec dépendances, le parc et son fond manuscrit personnel, soit plus de 12500 livres accumulés entre 1760 et 1830. Réservant l’usufruit de ses biens à son arrière petite-nièce, la Comtesse de Saint-Juéry. La ville prendra possession effective de ces biens en 1886 après la mort de cette dernière.
Un des trésors de cette bibliothèque a été la présence du manuscrit de la Mappa Mundi, classé en 2015 au Patrimoine Mondial de l’Unesco au titre de Mémoire du Monde, qui se trouve désormais à la Médiathèque d’Albi. Un facsimilé est visible dans le Trésor de la Cathédrale Saint Cécile de juin à septembre.