La proximité du fleuve, la présence de sources et d'un escarpement rocheux expliquent l'ancienneté de l'occupation du sol mis en évidence par de nombreuses découvertes archéologiques. Au castrum Gallo-romain de Riuncium succède le bourg médiéval groupé autour du château d'Auger.
Implantée sur l'escarpement rocheux situé à l'extrémité Nord-Ouest de la ville, elle était le donjon du château ; elle domine de ses trois étages carrés la vallée de la Garonne. Des mâchicoulis portés par des consoles couronnent le sommet. Une cheminée et un escalier sont aménagés dans l'épaisseur du mur.