Bâti sur un RDC et un étage et couvert d'un comble inhabité, ce bâtiment aux façades ordonnancées présente sur sa face Nord un front bâti linéaire qui fait face à l'église St Pierre. Côté Sud le bâtiment présente deux volumes en retour formant un U, et créant une cour jardin abritée. Le bâtiment fait preuve d’un riche vocabulaire architectural.
Il a été acquis par la ville dans les années 1970 et prend son nom en hommage à l'abbé Charles Tollemer qui s'était beaucoup investi dans le secours aux sinistrés en 1944.
