Le musée est créé en 1964 à partir d'objets historiques et religieux locaux. A partir de 1967, grâce à la donation de la collection personnelle de Madeleine Rousseau, historienne de l'art, constituée essentiellement de pièces africaines, le musée s'oriente vers les civilisations extra-européennes. Les nombreux voyages de Daniel Pouget, directeur du musée de sa fondation à l'an 2000, complètent cette collection avec des objets provenant d'Asie, d'Amérique et d'Océanie ainsi qu'une collection d'objets ethnographiques locaux. Au fil des ans, le musée reçoit de nombreuses donations, de voyageurs ou de coopérants notamment.
— Atout
Collection personnelle de l'historienne de l'art et collectionneuse Madeleine Rousseau. Très belle collection d'objet d'Afrique de l'Ouest. Nombreuses pièces provenant de plusieurs continents. Fonds local : nombreux objets classés au titre des Monuments historiques : chasuble de saint Rambert, reliquaire monstrance, tableau de Guy François "La Déploration".