Au 17e siècle, l'histoire d'Annecy est marquée par la création de l'ordre de la Visitation et la construction de deux monastères. Le second monastère construit entre 1634 et 1636, est préservé et continue d'être aujourd'hui une maison religieuse.

Au début des années 1630, Jeanne de Chantal, fondatrice avec François de Sales de l’ordre de la Visitation, décide d’édifier à Annecy un second monastère ayant pour fonction de former de futures mères supérieures de monastères. La construction débute en 1634. La communauté s’y installe à partir de 1636.

Nicolas Baytaz, architecte du second monastère

Pour conduire la construction du monastère, Jeanne de Chantal, mère supérieure, fait appel à Nicolas Baytaz. Ce dernier, père spirituel du premier monastère de la Visitation d’Annecy avait dessiné les plans du monastère idéal tel que le souhaitaient les deux fondateurs.

Le second monastère, fidèle aux fondateurs

Du fait de l'intervention Nicolas Baytaz, le plan du second monastère et l’aspect des bâtiments sont fidèles à la volonté des fondateurs de l’ordre. L’architecture de l'ensemble se caractérise par sa sobriété et sa fonctionnalité. Les historiens parlent d'une esthétique du renoncement.

Le monastère au 19e siècle

A partir de 1835, les bâtiments sont occupés par les sœurs de Saint-Joseph. La façade de la chapelle est reconstruite après 1860 par l’architecte lyonnais Léon Charvet, architecte de la Préfecture de Haute-Savoie. Les bâtiments continuent d'abriter aujourd'hui les sœurs de Saint-Joseph.