Cette tour ronde fait déjà partie du château au XVIe siècle. Il s’agirait à l’origine d’un colombier, comme l’attestait la plaque, aujourd’hui disparue, qui ornait la façade et portait l’inscription latine signifiant « Ici se trouvait un colombier ». Les textes nous prouvent qu’un colombier était bien présent sur le domaine au moment où le duc d’Antin l’acquiert et qu’il se trouvait à proximité des douves.
En 1776 ce bâtiment a été entièrement réaménagé en lieu d’habitation, par Gaultier de Bésigny, pour y loger l’intendant du château autrefois appelé « capitaine ».