L'église de Bavay a été reconstruite après un incendie en 1575. Des travaux furent entrepris au début du XVIIIème siècle et des réparations ont été effectuées au cours du 19e siècle. Les toitures ont été restaurées après les destructions de la seconde Guerre Mondiale.
Edifiée sur un soubassement en grés, elle est principalement construite en briques rouges avec des appareils en pierre bleue notamment autour des baies.
Sa façade est résolument tournée vers le Forum antique en léger surplomb. Un hypocauste retrouvé dans ses fondations témoigne de l'emplacement d'anciens thermes de l'époque romaine.