Entre 1040 et 1064, un premier château est construit afin de protéger les terres et les vassaux de l’Église de Dol. Rivallon, frère de l’évêque Ginguenée, reçoit la garde du château. Il ne subsiste aujourd’hui plus rien du castel primitif. À la place se dressent quatre vastes et puissantes tours de granit appareillé munies de créneaux et mâchicoulis cernant une cour rectangulaire. Malgré son homogénéité apparente, cette forteresse connut différentes étapes de construction. Au nord, la tour du Maure (ou More) datée du XIIIe siècle est la plus ancienne. Les deux tours «face au Midi», la tour Sybille et celle du Chat, sont érigées au XIVe siècle. Enfin, la tour du Croisé est construite au XVe siècle.
Entre 1776 et 1786, le jeune François-René séjourne dans la tour dite du «Chat» où il vit des expériences terrifiantes, comme celle de la vision du fantôme d’un «certain comte de Combourg à jambe de bois mort depuis trois siècles et qui revenait à certaines époques» accompagné d’un chat noir.
Geoffroy de Chateaubriand, neveu de l’écrivain, entreprend à partir de 1876 la restauration de l’édifice laissé à l’abandon pendant près de quatre-vingts ans. Classé Monument Historique en 1945, le château est toujours la propriété de ses descendants.