Construite au début du XIVème siècle sur odre de Philippe le Bel, à l'image de celle qu'il fit bâtir à Villeneuve-lez-Avignon, afin d'affirmer le pouvoir royal face au Comtat Venaissin. Acquise par la ville en 1511, auprès du Marquis de Canilhac, elle devient l'hôtel consulaire.