Une interprétation historique attribue la construction de cet édifice du milieu du XVIe siècle, à Odet de Châtillon (1517-1571), frère de François de Coligny. Odet devient cardinal à seize ans, malgré une brillante carrière ecclésiastique, il se convertit au calvinisme et est excommunié par le pape. S’il est peu probable qu’Odet de Coligny soit effectivement à l’initiative de ce bâtiment, la pérennité de cette appellation permet de mentionner la puissante famille de Coligny, acquise à la cause protestante.
Cet édifice a connu de nombreux usages : hôtel particulier, siège du district, de la municipalité, tribunal, hôpital militaire,... La maison est ensuite rachetée par le docteur Michel Cornudet, chirurgien servant sur les vaisseaux du roi et rescapé de la Bataille des Cardinaux en 1759. En 1945, le bâtiment est vendu aux Sœurs du Saint-Esprit qui apportent d’importantes modifications à l’édifice, visibles notamment côté rue.