Construite au XVe siècle, la maison Pierre et Anne Bourbon, ex maison des Sires de Villars était la résidence urbaine des châtelains. Autrefois fortifée (créneaux, merlons), sa façade sur Saône est rythmée par un avant-corps support des insignes de Pierre de Bourbon et d'Anne de Beaujeu.
L'édifice est remanié au XVIIIe siècle (modénatures, baies et décors du premier étage). Différentes ouvertures et deux escaliers en vis sont supposés d'origine.
Inscrite MH en 1991.
Propriété de la commune depuis 1989, le bâtiment accueille aujourd'hui le musée « Trévoux et ses Trésors » et l'office de tourisme Ars Trévoux.