L'édifice est construit en 1759 pour remplacer l'ancien auditoire (voir n°13). A la révolution, l'hôtel de ville y établis ses quartiers. Il s'agit du centre du pouvoir commercien jusqu'en 1977.
Le bâtiment est classé Monument Historique en 1938 et abrite aujourd'hui le Conservatoire de Musique agréé.