En 1626, devant la cour féodale de Brabant, le roi d’Espagne Philippe IV (1621-1665) engagea à Carlo-Rolando de Suys les seigneuries de Villers-le-Peuplier et de Lens-Saint-Remy. Le fief de Villers fut érigé en baronnie le 3 avril 1629. En 1630, le baron fit bâtir le château seigneurial de Villers, qui retourna au domaine royal en 1653. En 1729, Jean-Baptiste Lardenois fut le nouveau seigneur de Villers-le-Peuplier et de Lens-Saint-Remy. Il obtint le titre de vicomte en 1741. Son gendre, le baron Philippe de Mesemacre, lui succéda. Sous la domination française, son fils François fut nommé maire de Villers. Il continua à exercer les fonctions de bourgmestre sous le régime hollandais, jusqu’à son décès en 1820. Le château fut vendu la même année et continua à abriter l’administration communale dans une de ses pièces. Un nouveau château, plus moderne, fut bâti au milieu du parc vers 1873, tandis que le corps de logis, les dépendances et la ferme de l’ancien château furent démolis. Il ne reste de ce dernier en front de rue que la tour porche quadrangulaire en briques et calcaire dont les ancres rappellent la date de construction du château en 1630. Les bâtiments voisins étaient la conciergerie et les écuries du nouveau château. Ce dernier fut transformé en clinique de 1923 à 1934, avant d’être à son tour livré à la pioche des démolisseurs. Il n’en reste que quelques ruines au milieu des pelouses. Les anciennes écuries et la conciergerie ont aujourd’hui été transformées en une agréable habitation privée.