Faisant partie de l'ensemble le plus singulier du Palais de l’Île, les cachots racontent l'histoire de l'emprisonnement durant l'Ancien Régime. En Europe, ce système d'emprisonnement disparaît à partir des années 1830.

Grâce à sa situation sur le Thiou qui l'isole de la ville, la maison forte de l’île occupe une position idéale pour garantir la surveillance des prisonniers qui y sont incarcérés. Cette fonction de prison sera seulement interrompue par l'installation de l'atelier monétaire entre 1355 et 1391. Il nécessite le transfert des geôles dans la Tour de la Reine au château.

Seuls quatre cachots sont utilisés au 17e siècle. De tous âges et sexes confondus, les détenus y sont enfermés pour avoir commis toutes sortes de délits. Durant la période révolutionnaire, le nombre de détenus est très élevé, atteignant plus de cent personnes en 1794. Certaines pièces, libérées des fonctions judiciaires, sont transformées en cachots. Après cette période troublée, le nombre des prisonniers diminue. En 1812, une quarantaine de détenus est incarcérée dans la prison.

Jusqu'au 17e siècle, les prisons sont sous l'autorité d'un fermier et geôlier qui achète sa charge aux enchères. C'est ensuite le juge mage du Genevois, assisté d'un concierge, qui assume cette fonction.

Une requête de Maître François Potel, châtelain et geôlier d'Annecy, au duc du Genevois en décembre 1600 décrit la promiscuité et l'insalubrité dans lesquelles sont maintenus les prisonniers.

Avec la période révolutionnaire, les prisonniers ont de meilleures conditions d'hygiène et de santé, notamment grâce à un contrat passé entre l'administration et les pharmaciens pour fournir la prison en médicaments. A cette époque, le préfet du Mont-Blanc instaure un règlement qui améliore le quotidien des détenus.

Mais après 1815, date de la Restauration sarde, on revient aux pratiques de l'Ancien Régime et les prisonniers sont séparés en fonction de leur origine sociale. On prône alors l'amendement des détenus par le travail : les hommes fabriquent des chapeaux des charnières tandis que les femmes filent et font des bas.

En 1845, l'arrivée des sœurs de la charité de Saint-Vincent introduit des conditions de détention moins rigoureuses, jusqu'au transfert des prisons dans la nouvelle maison d'arrêt, rue Guillaume Fichet, en 1864.

Une partie du rez-de-chaussée reste néanmoins dévolue à l'accueil nocturne des ivrognes et des rôdeurs dans le "violon" municipal jusqu'en 1955.