Ce château, ancien fief des Nouailles appartient à la famille de Saint Exupéry depuis la fin du XIV° siècle.
Armoiries de Saint-Exupéry, (anciennement de Saint-Supéry), de Miremont, du Dognon, du Fraysse, de Saint-Amand, de Montpellerie, de Fleurac,de Rouffignac, de Paleyrac, de sigoniac, de la Salvagie, de Cardou, en Périgord, de Segonzac en limousin, etc
Armes : écartelé aux 1 et 4 : d'or au lion de gueules, qui est de saint-Exupéry. aux 2 et 3, d'azur à l'épée haute d'argent garnie d'or posée en pal qui de Fraysse.
La maison de Saint-Exupéry est connue en Limousin dés le XI° siècle et parfait prendre son nom du château du même nom.
Vers 1330, elle s'établit en Auvergne par l'alliance d'Hélie de Saint Exupéry, chevalier, avec la soeur et héritière en partie de Raimond de Miremont, mort sans postérité.
C'est l'un des fils de cet union qui a formé la branche cadette, laquelle s'est perpétuée en Périgord et Quercy.
La branche ainée en Auvergne a fini dans Guy de Saint-Exupéry, chevalier, seigneur de Mireront, de Favars, de Chayrols, du Dognon et autres lieux, conseiller du roi, bailli royal des montagnes d'Auvergne, à Aurillac de 1558 à 1562.
Il eu 3 filles dont : - Françoise mariée en 1571 à Henri de Bourbon-Malauze, vicomte de Lavedan.
- Rose, mariée à Louis de Rillac, chevalier de Saint-Quentin
- Magdeleine dont nous avons pas de traces.
La maison de Saint-Exupéry a été admise de monter dans les carrosses du roi le 25 octobre 1754. En la personne de Jean, comte de saint-Exupéry, exempt des gardes du corps, et sa femme, Jeanne Magdeleine de Cognac, comtesse de Saint-Exupéry a été présentée à la cour par la comtesse de Nouailles le 22 mai 1757.
Plusieurs membres de la famille de Saint-Exupéry sont présents aux Etats-Généraux de 1789.
A Périgueux, Jean comte de Saint-Exupéry, chevalier, seigneur du Fraysse, de l'Isle, de Paulin, de la Salvagie et autres lieux, ancien lieutenant commandant, commandant d'escadron des gardes du corps du roi, maréchal des camps armées, chevalier de l'ordre royal et militaire de Saint Louis, habitant en son château de Terrasson; et par haut et puissant seigneur, messire Jean Balthazar, comte de Saint-Exupéry, seigneur de Rouffignac, Flaurac, Paleyrac, Sigoniac, ancien lieutenant des maréchaux de France, habitant en son chaque de Cardou, commune de Bourniquel, sénéchaussée de Sarlat.
Le château du Fraysse à Terrasson laisse apparaitre des vestiges d'une première construction féodale du XIII° et XIV° siècles. La façade est conservée en sous-sol comme base du château moderne.
Le domaine actuel date du XVIII° siècle et est rattaché a des morceaux plus anciens datant du XV° siècle.
Ce repaire noble est mentionné en 1560 comme étant :" la salle appelée Del Fraysse".
En 1454, Philippe de Saint-Exupéry donne en dot à sa fille Agnès, un "hostel" appelé Del Frayssier près du château de Terrasson.
L'édifice actuel a été agrandi au cours des XVII° et XVIII° siècles, les décors intérieurs y sont retouchés. Des terrasses sont aménagées ainsi qu'un parc et un bassin d'eau au cours des XVIII° et XIX° siècle.