Lang voordat er een woning werd gebouwd, stond op deze plek een hermitage waar religieuzen zich terugtrokken. Het huidige kasteel werd gebouwd op het einde van de 19e eeuw, lang na deze eerste bewoning. Het had verschillende namen, volgens de bewoning en de verschillende eigenaars. Tijdens de Eerste Wereldoorlog werd het gevorderd om een Kommandantur te worden, waarbij de eigenaar slechts drie kamers van het kasteel mocht bewonen. Daarna werd het gekocht door de stad Waver en sindsdien vonden er in de zalen verschillende evenementen en tentoonstellingen plaats.