In 1626 schonk de Spaanse koning Filips IV (1621-1665) voor het feodale hof van Brabant de heerlijkheden Villers-le-Peuplier en Lens-Saint-Remy aan Carlo-Rolando de Suys. Het leengoed Villers werd op 3 april 1629 tot baronie verheven. In 1630 bouwde de baron het kasteel van Villers, dat in 1653 weer tot het koninklijke domein behoorde. In 1729 werd Jean-Baptiste Lardenois de nieuwe heer van Villers-le-Peuplier en Lens-Saint-Remy. Hij verkreeg de titel van burggraaf in 1741. Zijn schoonzoon, Baron Philippe de Mesemacre, volgde hem op. Onder Frans bestuur werd zijn zoon François tot burgemeester van Villers benoemd. Hij bleef de functie van burgemeester onder het Nederlandse bestuur tot aan zijn dood in 1820 uitoefenen. Het kasteel werd in hetzelfde jaar verkocht en bleef de gemeentelijke administratie in een van de zalen bevatten. Een nieuw, moderner kasteel werd rond 1873 in het midden van het park gebouwd, terwijl het hoofdgebouw, de bijgebouwen en de boerderij van het oude kasteel werden afgebroken. Van dit laatste blijft er aan de straatgevel alleen nog de vierhoekige portaaltoren van baksteen en kalksteen, waarvan de ankers herinneren aan de bouwdatum van het kasteel in 1630. De naburige gebouwen waren de conciërgewoning en de stallen van het nieuwe kasteel. Deze laatste werd van 1923 tot 1934 tot een kliniek omgevormd, alvorens aan de slopers te worden overgedragen. Alleen een paar bouwvallen zijn in het midden van de gazons overgebleven. De oude stallen en conciërgewoning zijn nu tot een aangename privéwoning omgetoverd.