Avant le château actuel se trouvait à l'Herm un château fort dont il reste les douves (5 à 7 m de profondeur en moyenne) entourant le site et le pied droit ouest du châtelet d'entrée qui abritait le pont-levis s'abattant sur le pont en pierre toujours en place. L'archéologie des élévations est en cours de réalisation. [ Archéologie ]

Le château actuel, de style gothique flamboyant, a été érigé entre 1490 et 1520 par Jean II de Calvimont dit le Conseiller puis aménagé par son fils (second président au Parlement de Bordeaux). [ Histoire ]
Le château est composé d'un corps de logis rectangulaire d'environ 25 m sur 10 m (Petites salles et Grandes salles), flanqué de deux grosses tours rondes (Chambres et Oubliette) contenant une pièce carrée d'environ 25 m². Les murs sont épais de plusieurs mètres. A l'opposé des tours rondes vient une troisième tour qui renferme l'escalier à vis (Escalier et Chambre au trésor).