Ancienne tour-porte à pont-levis et mâchicoulis construite à la fin du XIVe siècle, la port du Croux doit son nom au terrain humide formé par les eaux de la Passière, aujourd’hui souterraine. C'est en 1847 que le baron de Vertpré se porte acquéreur du bâtiment en vue de l’offrir à la ville de Nevers pour qu’elle assure sa restauration comme Monument historique et y installe un musée d’antiquités. C’est chose faite en 1851, le musée étant alors confié à la Société Nivernaise des Lettres, Sciences et Arts, première société savante de la Nièvre qui vient d’être constituée.

Depuis lors, la porte du Croux est le siège de la Société nivernaise et abrite le musée archéologique du Nivernais. Installé sur trois niveaux, ce musée présente de remarquables objets provenant principalement de Nevers et de l’ensemble du département de la Nièvre. Découverts en fouilles ou derniers témoins de bâtiments détruits, ces objets datent pour certains de l’Antiquité (notamment des verres gallo-romains exceptionnels), d’autres du Moyen-Âge (comme les chapiteaux de l’ancienne église Saint-Sauveur de Nevers) ou encore de l’époque moderne (tel saint Cyr chevauchant le sanglier de la légende.