L'évêque, Mgr Gabriel Cortois de Quincey, adresse en 1764 une requête au roi et demande à l'architecte Soufflot les plans pour un nouvel édifice. Le matériau est tiré des communes de Parves et Nattages.
La construction s'étale de 1766 à 1780. C'est le type d'architecture du siècle des Lumières. Appuyé sur la façade sud, un bâtiment annexe s'allonge jusqu'à la cathédrale pour abriter une chapelle et des bureaux.
La ville l'achète en 1978 et commence à le faire restaurer par l'architecte en chef des Monuments historiques Jean-Louis Taupin, pendant 14 ans.
Les 3000m2 sur 3 niveaux se trouvent les bibliothèques municipales, le siège d'associations. Dans les salles et salons sont organisées des expositions, conférences, spectacles, etc.
Classé monument historique le 16/02/1932.
Source : Richesses touristiques et archéologiques de la ville de Belley. 2007