XVIIIe au XXe siècle

Au XVIIIe siècle, on entreprend d'assécher l'étang qui se trouvait au nord de la Porte des Ardilliers afin d'y installer les casernes de cavalerie. C'est là qu'en 1784, Charles Amable de Champ achète des terrains et une portion des remparts pour y faire construire une vaste demeure. Il la fait entourer d'une nature reconstituée formant parc, allées et pièces d'eau. Cet hôtel particulier laisse place à l'hôtel préfectoral en 1823.

Le ministre de l'Intérieur nomme alors l'architecte Caristie pour conduire les travaux nécessaires à l'installation de l'administration préfectorale. En juillet 1862, eut lieu dans les salons de la Préfecture une réception en l'honneur de Napoléon III et de l'impératrice Eugénie, c'est à cette occasion que Leurs Majestés purent apprécier les nougatines du confiseur Bourumeau.

La façade à l'ordonnancement classique, de cet ancien hôtel particulier entre cour et jardin, est significative de l'architecture civile du XVIIIe siècle. Les travaux d'agrandissement de 1824 ont conduit à des élévations de galeries et des élargissements. Le balcon sur colonnes et les balustrades ont été ajoutés à la façade principale suite à un bombardement en 1940.

Dans le cabinet du préfet, ont été placées deux grandes tapisseries de la manufacture des Gobelins datant du XVIIe siècle et provenant de la cathédrale de Nevers.