Fondé en 1819 par le maître de forge Caumartin, le musée est considérablement enrichi dix ans plus tard, grâce à l'acquisition de la collection du peintre Carbillet. En 1866, sous l'impulsion de Jules Chevrier, les collections archéologiques régionales, recueillies depuis 1844 par la Société d'Histoire et d'Archéologie, sont jointes au fond primitif. Le musée abrita aussi, pendant un temps, les collections photographiques de l'inventeur Niepce, avant la création du musée Nicephore Niepce. En 1905 le musée s'agrandit considérablement et prend le nom de Vivant Denon premier directeur du musée du Louvre, né à Chalon, en 1747.
— Atout
Collections archéologiques régionale de diverses époques. Collections de peintures hollandaises, françaises et italiennes, dessins, art contemporain. Ethnographie régionale
À 0.2 km