Le document le plus ancien mentionnant le château remonte à 1275. Il dépendait de la seigneurie de Peyre dont la baronnie s'y installa définitivement en 1632, après la destruction du château de Peyre. L'édifice fut alors transformé : construction des ailes nord et est, flanquées de grosses tours d'angle. Ces transformations ne touchèrent pas les intérieurs. L'état actuel du château date du début du 18e siècle.
En 1708, le château fut agrandi et la longue façade sud bâtie afin de rappeler Versailles. A l'angle sud-est fut élevée une tour semblable aux trois anciennes pour assurer une symétrie. A l'est, deux pavillons à un étage furent bâtis pour fermer la cour intérieure créée par la nouvelle façade. L'intérieur du château fut aménagé.
Par son aspect, le château se rapproche davantage des constructions médiévales que des édifices de la fin du 17e siècle dont il est contemporain.
