Lieu de résidence des gouverneurs au XVIIe et XVIIIe siècle, cet ensemble d'immeuble prend appui sur l'enceinte de la ville. A l'origine, l'Hôtel était composé d'une orangerie (n°15) surélevée au XIXe, un pigeonnier et un corps de logis (n°17 et 19). L'entrée principale est couronnée par un portail monumental.
Édifice classé MH en 1933.