Une partie du château comprenant la Tour Rainon, dite la Tour de l’Horloge, fut revendue aux Évêques au XIII ème siècle et l’autre tour fut échangée avec le Roi de France Charles VIII au XV ème siècle. Tous deux y avaient leurs tribunaux et leurs prisons.
Les lieux serviront d’espace carcéral jusqu’en 1926, quand Uzès perdra son statut de sous préfecture.
Par la suite ils furent transformés tantôt en espace de réserve, d’ateliers municipaux et d’habitations.
Abandonnés pendant quelques décennies, les lieux restaurés reprendront vie grâce à
la création d’un jardin d’ inspiration médiévale en 1995.
