Le musée se situe dans un prieuré bénédictin du XVIIIe siècle, construit par Mazey (1704). A la révolution, cet édifice devient Bien national. Aujourd'hui, il abrite les services administratifs. On admirera les grilles et ferronneries de Blaise Charlut ainsi que la cage d'escalier éclairée par une coupole ovale. Un cloître intérieur embellit l'édifice.