La maison dite de la Tour d'Ayen, logis de notable typique des XVI et XVIIéme siècle en milieu urbain, se distingue par une élévation soignée et ornée.
La tour d'escalier, du XVIéme siècle est inscrite à l'inventaire des Monuments Historiques . Elle posséde des fenêtres Renaissance et une porte ornée d'un écusson martelé. Comme la toiture du clocher de la Collégiale, la tour est couverte en bardeaux de châtaignier. Ce fut autrefois, du temps des grandes foires, un restaurant renommé; aujourd'hui des chambres d'hôtes.