
Le lieu, en surplomb de la Garonne, est stratégique et occupé depuis fort longtemps. Les seigneurs de Castets sont attestés dès le XIIème siècle. Le principal tenant, au début de XIVème siècle, est Raymond Guilhem de Goth, neveu du Pape Clément V. Le 15 décembre 1314, il obtient au roi Edouard II l'autorisation de construire un château à Castets.
Par la suite, divers personnages issus pour la plupart des plus grandes familles de la région sont qualifiés seigneurs de Castets. La co-seigneurie semble reprendre ses droits lors du conflit franco-anglais.
En 1697, la seigneurie est définitivement acquise par Charles du Hamel. Le château des Got est profondément modifié aux XVIème et XVIIème siècles.