Le musée a vu le jour en 1859 suit au legs de ce premier donateur. La collection de cabinets à tiroirs est particulièrement remarquable. Des peintures du 15ème siècle à nos jours, céramiques asiatiques, sculptures et autres objets d'art complètent les collections de ce musée géré par une association.

L'histoire du musée et de ses tableaux fantômes est tout-à-fait singulière et passionnante.

D'autres acquisitions ou donations ont enrichi les collections du musée au fil du temps, avec notamment des peintures de du peintre Pharaon de Winter, lui aussi originaire de Bailleul.