Saint-Étienne est une des églises romanes parmi les plus intéressantes par la pureté de son style et de ses dispositions architecturales : "c'est l'un des types les plus complets des églises à nef voûtée en berceau, contreboutée par des demi-berceaux bandés sur les bas côtés", décrit Viollet-le-Duc.

En 1068, l'évêque et le comte de Nevers décident la construction d'un nouveau monastère à l'emplacement d'un oratoire fondé au VIIe siècle et le remettent aux Bénédictins de Cluny. Le prieuré est terminé en 1097. Si son plan en croix latine et à déambulatoire est caractéristique des églises romanes, son élévation à trois niveaux culminant à 18 mètres sous une voûte en berceau, représente une prouesse qui restera inégalée jusqu'à la période gothique. Cette conception, qui permet un vaste volume et un éclairage direct de la nef, est rendue possible par l'existence de tribunes voûtées de demi-berceaux. Ceux-ci épaulent en effet le mur supérieur de la nef et contrebutent les poussées émises par la voûte principale. Le chevet retient également l'attention par la sobriété de ses proportions et l'harmonieux agencement de ses masses, avec ses trois chapelles rayonnantes, les deux absidioles du transept, le toit du déambulatoire puis le mur de l'abside, le tout couronné par la souche de la tour qui se dressait primitivement sur la croisée du transept.

Deux statues remarquables se trouvent dans l'église :

• une Vierge du XIVe siècle, Notre-Dame de la Colombe, provenant de l'oratoire de Notre-Dame du bout du pont ;
• une statue en marbre du XVe siècle représentant saint Jean-Baptiste.