Elle porte ce nom en raison du voisinage de l'ancien hôtel Colbert, précédemment hôtel Bautru.
La galerie Colbert abrite notamment le siège :
de l'Institut national d'histoire de l'art
de l'Institut national du patrimoine
du centre André-Chastel
du Comité français d'histoire de l'art
de l'Association des professeurs d’archéologie et d’histoire de l’art des universités (APAHAU)
La galerie Colbert héberge également les laboratoires de recherche et les écoles doctorales liés à l'histoire de l'art et au patrimoine culturel de plusieurs universités et écoles franciliennes :
Université Paris-Sorbonne
Université Paris-1 Panthéon-Sorbonne
Université Sorbonne Nouvelle - Paris 3
Université Paris X Nanterre
EHESS
EPHE
Institutions rattachées au Centre national de la recherche scientifique