Bâti au XIIème siècle, ce château fut longtemps la propriété des évêques de Clermont. Au cours de la guerre de Cent Ans, en 1382, Aymerigot Marchès, mercenaire au service de l'Angleterre, avec douze de ses hommes, s'empare d'Alleuze qui n'est gardé que par le portier et son épouse. Pour d'autres, la prise du château, en 1383, est le fait de Bernard de Garlan, routier d'origine bretonne, du parti des Anglais, qui sema la terreur dans toute la région. Pour éviter que Garlan ait des successeurs, les habitants de Saint-Flour incendient le château en 1405. Monseigneur de la Tour, propriétaire du château, très mécontent de ces déprédations, les obligea à le reconstruire. Prises par les Huguenots en 1575, les tours du château furent utilisées comme geôles par les évêques de Clermont-Ferrand.