Son nom provient du mot "châtaignier" en occitan, arbre dominant du secteur des Cévennes et du Mont Lozère.
La manse de Castanet remonte au 13e siècle, mais est peut-être plus ancienne. Elle est rattachée au diocèse d'Uzès, mais est dépendante de l'abbaye de Saint-Gilles. À cette époque c'est le seigneur d'Hérail, co-seigneur parier de la Garde-Guérin et vassal de l'évêque de Mende, qui possède la manse.
Jusqu'en 1550, la manse va être reçue en héritage, en plus du prestigieux droit d'être parier de la Garde-Guérin. C'est Robert Brun qui est possesseur de la manse à partir de 1550. Il va la vendre le 14 décembre 1571 à Jacques Isarn, issu d'une famille bourgeoise de Villefort.
