Construit en pierres par Nicolas Braque, grand Argentier de Charles V qui viendra inaugurer en 1376 le bâtiment, une tour de briques lui sera adjointe plus de 200 ans plus tard par Jacques de L'Hospital. Cette dernière renfermait en son sommet une chambre forte.