Le Château fort du Cayla, bâti au sommet des coteaux escarpés qui bordent l’Aveyron, près de Moyrazès, fut le plus ancien patrimoine de la maison de Cassagnes.

La famille de Cassagnes de Beaufort, Marquis de Miramont, seigneurs du Cayla-de-Moyrazès, tenait autrefois un rang distingué parmi la noblesse de la province de Rouergue.

Les écrits les plus anciens font mention de Hugues et Rigald de Cassagnes, frères, fils de Raymond et de Richilde, en 1062.

Les armes de la maison de Cassagnes, dont certaines sont encore visibles sur les linteaux de quelques cheminées du château, sont définies ainsi :
“D’azur, au lion d’or, au bâton de gueules en bande brochant sur le tout”
Nota : la bande de gueules lui vient de la maison de Beaufort, dont elle prit les armes au commencement du XVIe siècle.

Au XVIe siècle, Antoine de Cassagnes de Beaufort, seigneur du Cayla, noble et puissant homme est qualifié gentilhomme ordinaire de la chambre du roi Henri IV.

Le 20 octobre 1583, Henri IV, alors roi de Navarre, rédige une lettre adressée au seigneur du Cayla qu’il signe : “Votre meilleur et plus assuré ami Henri”.

La maison de Cassagnes quitta le château fort du Cayla au commencement du XVIIe siècle pour aller s’établir en Auvergne, au château de Pesteils dans le Cantal.
Cette famille l’aurait aliéné avant la révolution (1711 ?) à Antoine Rous qui en était seigneur en 1752.

A la révolution, il devient propriété de la famille de Rodat qui l’afferme à son tour à Maître Souyri, notaire royal et greffier de la juridiction de Moyrazès.

Aujourd’hui, le Château du Cayla est en la possession de la famille Mazenq depuis la fin du 19è siècle.
Pierre Mazenq en est l’héritier d’après l’acte notarié du 22 janvier 1870 qui couche le testament de Jean Mouli, son oncle, alors propriétaire du Château.