Son nom provient du mot "châtaignier" en occitan, arbre dominant du secteur des Cévennes.
La manse de Castanet remonte au 13e siècle, mais est peut-être plus ancienne. Elle est dépendante de l'abbaye de Saint-Gilles. À cette époque c'est le seigneur d'Hérail, co-seigneur parier de la Garde-Guérin et vassal de l'évêque de Mende, qui possède la manse.
Jusqu'en 1550, la manse va être reçue en héritage, en plus du prestigieux droit d'être parier de la Garde-Guérin. C'est Robert Brun qui est possesseur de la manse à partir de 1550. Il va la vendre le 14 décembre 1571 à Jacques Isarn, issu d'une famille bourgeoise de Villefort.
Renseignements à l'Office de Tourisme de Najac, 25 place du Faubourg, 12270 Najac, ou par téléphone au 05 65 29 72 05, ou mail à infos@tourisme-najac.com