Les premiers bâtiments du monument datent du 13e siècle. Le château tel qu'on le connaît aujourd'hui s'est construit au fil des siècles, en fonction des besoins de ses occupants.
Résidence des Comtes de Genève et de la Maison de Savoie, il est devenu un lieu de casernement du 17e siècle jusque 1947.
La ville d'Annecy faisant face à une importante crise du logement après-guerre, le monument, classé Monument historique depuis 1902, a hébergé environ 350 sans-abri entre 1947 et 1952. Suite un incendie dans le château en 1952, la ville a racheté le monument et entrepris sa restauration.
La première exposition du musée, transféré de l'hôtel de ville au château, a eu lieu en 1956. Il s'agissait d'une exposition de tapisseries anciennes dans la salle des colonnes.
Au cours du 12e siècle, la population se rassemble autour du Thiou. Le cours d'eau se situe en contrebas d'un éperon rocheux sur lequel s'installe une église, Saint-Maurice, et le château au cours du 12e ou du 13e siècle.
On peut encore voir le rocher sur lequel le château a été bâti, notamment dans le soubassement du logis Nemours. Le puits d'une quarantaine de mètres de profondeur, visible dans la cour du château, est creusé dans le rocher brut.
L'imposante tour de la Reine est la construction la plus ancienne du château. Probablement édifiée au 13e siècle, elle bloquait l'accès au promontoire rocheux sur lequel se développe le château. Dans les textes, elle est appelée "grande tour" ou "tour blanche" ; son nom de "tour de la reine" est une invention récente portée par des historiens du 18e siècle.
Elle s'élève à une trentaine de mètres de hauteur avec des murs de quatre mètres d'épaisseur à la base.
Le Vieux logis est construit au 13e siècle par les comtes de Genève dont cinq générations se succèdent jusqu'à l'extinction de cette dynastie en 1394. Lorsque le château devient la propriété de la Maison de Savoie en 1401, le Vieux Logis est remanié par le comte de Savoie Amédée VIII.
L'ancienne cuisine date de cette période et conserve deux imposantes cheminées et son four à pain situé au rez-de-chaussée de la tour Saint-Pierre. La salle des colonnes est également transformée et agrandie au début du 13e siècle pour accueillir de grandes réceptions.
A l'étage supérieur, la grande salle était la pièce d'apparat mais aussi le centre de décisions importantes.
Au même niveau et juste au-dessus de la cuisine, plusieurs pièces formaient les appartements privés des comtes et de la comtesse de Genève.
La tour veille sur les abords du château et notamment sur le faubourg et la porte Perrière, l'un des quatre accès au bourg médiéval. Construite sur le rocher, elle était reliée au Vieux Logis par un mur d'enceinte qui a disparu, au niveau du belvédère actuel.
Le logis abritait des fonctions administratives et résidentielles.
Sur les murs de l'une des salles du second étage, des traces d'anciens décors peints apportent des informations sur la décoration de cette pièce au fil de ses fonctions : résidence princière et casernement.
Le Logis Nemours est construit entre 1533 et 1565 sous l'impulsion de Charlotte d'Orléans, tutrice du prince Jacques de Savoie-Nemours. Le logis se distingue par son architecture moderne, inspirée de la renaissance italienne et par la pierre blanche utilisée.
L'intérieur, sur trois niveaux, est une succession de trois pièces en enfilade, toutes dotées d'une cheminée, d'un volume proportionné à une vie confortable et éclairées de baies s'ouvrant sur le sud.
Le Logis Neuf, dont le devis de construction date de 1562, est probablement un des édifices les plus transformés du château. Sa façade nord a été entièrement reconstruite après une série d'éboulements et d'effondrements au 19e siècle, et ses autres façades ont été grandement remaniées.
Il ne possède pas la belle apparence du Logis Nemours, ni à l'extérieur, ni à l'intérieur. Ce bâtiment n'avait pas de fonctions prestigieuses mais répond à une véritable nécessité d'extension par des salles construites selon les critères de l'époque.
La Maison de Savoie donne progressivement au château le rôle de casernement.
L'intérêt que représente l'histoire de la caserne du château réside dans les travaux d'entretien, heureusement toujours réalisés à l'économie, réduisant ainsi les risques de trop grande transformation.
On peut cependant relever la démolition au 18e siècle du chemin de ronde entre la tour de la Reine et le logis Perrière et celui situé entre la tour Perrière et la tour Saint-Paul, ainsi que la disparition des bâtiments situés sur la terrasse Perrière.
Tout le système défensif protégeant l'accès principal a lui-aussi disparu, mais on peut aujourd’hui en voir les vestiges sur le parvis du château.
Au 19e siècle, les travaux initiés par le service du génie militaire se poursuivent.
Max Bruchet, archiviste départemental, et Charles Suisse, architecte en chef des Monuments historiques, permettent le classement du château d'Annecy en 1902.
L'armée quitte le château en 1947. Cette même année, la crise du logement commence à se faire sentir. Aussi, le préfet et des membres du conseil municipal permettent à quelques personnes d'occuper provisoirement une ou deux pièces de cette caserne désaffectée. Mais d'autres personnes en quête d'un toit viennent tout au long des cinq années suivantes. Devant cette situation dramatique, les pouvoirs publics, tout en redoutant une catastrophe, se résignent à ne pas expulser.
Le 12 juillet 1952 au matin, suite à l'explosion d’un réchaud à alcool, un incendie éclate dans la salle des colonnes. Il provoquera un mort et conduira les 351 personnes qui occupaient le château à être relogées.
En mars 1953, la Ville l'achète et entreprend des travaux de restauration et d'aménagement du musée.
En 1956, c'est dans la salle des colonnes restaurée qu'une première exposition est présentée au public. D’autres suivront au fur et à mesure de l'ouverture de nouvelles salles. Ce travail de longue haleine prendra fin avec la restauration de la tour et du logis Perrière (1988-1992).
Une quarantaine d'années de travaux de restauration a été nécessaire pour ouvrir complètement le château au public.