La Drac est installée dans le quartier d'Henriville, dans
l'ancien couvent des visitandines, ordre de femmes créé par saint François
de Sales et sainte Jeanne de Chantal dans les années 1610. Ce monastère,
fondé le 14 septembre 1640, a été occupé par les religieuses jusqu'à la
Révolution. Elles en sont alors chassées.
En 1803, les religieuses réintègrent les lieux et le nouveau couvent de la
Visitation Sainte Marie (celui actuellement occupé par la Drac) est construit,
de 1839 à 1841. La congrégation fut supprimée en 1904, les soeurs à nouveaux
exilées et les bâtiments achetés par une société anonyme immobilière. Le grand
séminaire s'installe alors dans l'ancien couvent jusqu'à sa suppression en 1962.
Au début des années 70, les locaux échappent à la destruction grâce à l'intervention
du préfet. Les bâtiments sont achetés par l'Etat, et les jardins deviennent
propriété de la ville.
La restauration des bâtiments commencée en 1975 s'est achevée en 1987.
