Cet édifice est à l'origine le Couvent des Récollets datant du XVIIème siècle. Il fut après la révolution vendu à l'Etat puis transformé par un riche bourgeois dénommé Gauthier. Marquant l'entrée dans la ville par le sud, il s'appuie sur le rempart et est paré de deux tours crénelées.