Il s'agit d'un chef d'oeuvre de l'art gothique. Le monastère a été édifié par Marguerite d'Autriche (1480-1530) en mémoire de son défunt mari Philibert le Beau, duc de Savoie. Elle a aussi une ambition politique en tant qu'héritière du duché de Bourgogne et régente des Pays-Bas.

L'église est située aux portes de la ville.
La construction commence en 1506 et s'achève en 1532.
L'architecte est Louis van Bodeghem, le sculpteur est Conrad Meit, le peintre Jehan Perréal.

Autour de l'église, trois cloîtres s'articulent. La toiture est remarquable et est couverte de tuiles vernissés comme les toitures bourguignonnes. L'église est bâtie en plan en croix latine à transept saillant. La nef est dépouillée alors que le choeur est richement décoré. Le jubé sépare la nef du choeur mais permet aussi à Marguerite d'Autriche de circuler jusqu'à ses appartements privés.

Le monastère abrite aujourd'hui le musée de Brou.

En 2014, il a été élu Monument préféré des français dans le cadre de l'émission de France2 "Le monument préféré des français".

L'église et les trois cloîtres sont classés sur la liste de 1862 et par décret du 16/01/1935