Les premiers seigneurs de Montmège connus sont les Souillac en 1144. Ancien fiefs des Souillac, Dubernard, Reilhac puis propriété des de Lapeyre de la Pagélie.
ci- dessus armes des De Souillac, De Montmège, d'Azerat, de Terrasson, de Salignac, de Gaubert, du bourg,... armes d'or à 3 épées de gueules, en pal, la pointe en bas.
La maison de Souillac semble avoir pris son nom de la ville et châtellenie de Terrasson.
La terre de Montmège n'est sortie de la branche à qui elle a donné son nom, qu'on 1655 par le décès de Jean de Souillac, Seigneur de Montmège, de Salagnac, de Terrasson et de Gaubert., capitaine colonel des cent-suisses de la garde ordinaire du roi, lieutenant général de ses armées, conseiller en ses conseils et privés, mestre de camp d'un régiment d'infanterie et décoré de l'Ordre du Saint Esprit, le 15 janvier 1652. Les Suisses avaient nommé le bon capitaine.
Mort en 1645, son cousin, issu de Germain-David de Souillac, continua la descendance.
Le dernier de cette illustre maison, le vicomte de Souillac, chef d'escadre et cordon rouge, meurt au château de Bardou le 11 mars 1803 à l'âge de 71 ans. Il avait été gouverneur de tous les établissements des grandes Indes, pendant la guerre d'Amérique.
Il figure aux assemblées de la noblesse en 1789 comme : " Très haut et très puissant seigneur Jean Georges marquis de Souillac, seigneur de bardot, Bridoire, Montblan....et autres places, habitant en son château de Bridou, sénéchaussée de Sarlat"
La ligne masculine des Souillac fini dans les maison de Montferrand, de Roquette, du Pavillon et de Foucault.
La structure originelle du château est constituée de 4 tours et d'un corps de bâtiment enfermant une cour, les fossés et le pont levis ont disparu. Le logis date du XIII° siècle.
Est présent une porte Renaissance timbrée d'un écusson et d'une inscription gothique. Au XVI° siècle, on ouvre de larges baies à meneaux très sculptées.
La grande salle possède une cheminée du XV° siècle fresquée au XVII° siècle d'une fortune entre un lion et un cerf portant l'inscription :" Audentes Fortuna juvat timidosque reppelit". le manteau de la cheminée portait autrefois l'inscription : Per Dïou, per lou rey et par ïo" (pour Dieu, pour le roi et pour moi).
Cet ancien repaire avait justice sur quelques villages de la paroisse de Terrasson.