Le document le plus ancien attestant de la présence du château date de 1229. Construit du 13e jusqu’au 18e, il domine une boucle du Tarn. Seule une pierre aux armes des Rabastens témoigne du bâtiment originel.
Plusieurs générations et séjours (dont ceux du Cardinal de Richelieu et du Marquis de Lapérouse) se sont succédés à Saint Géry jusqu’à la famille O’Byrne, de souche irlandaise, arrivée en 1829. Plusieurs visiteurs de marque y ont été accueillis parmi lesquels la reine Elisabeth II d'Angleterre et sa mère, la reine mère Elizabeth Bowes-Lyon, et des présidents de la République française.
