Le Jardin Villemin a été aménagé à l'emplacement de l'ancien couvent des Récollets fermé pendant la révolution et qui devint en 1802 un hôpital militaire. A partir de 1913 l'hôpital prit le nom d’un médecin des armées, Jean Antoine Villemin. Fermé en 1968 il accueille à présent une école d’architecture.