Au fil des années ce quartier s’est construit une identité singulière, peinte par les plus grands artistes tels que Camille Pissarro, Paul Cézanne, Ludovic Piette et Paul Gauguin.
Le quartier de l’Hermitage doit son nom à des ermites de l’ordre des Mathurins qui y avaient établi leur couvent. Pour leur permettre de vivre une vie de quiétude et de solitude, Henri III leur fit don de trois arpents de terre dans ce faubourg de Pontoise.