Cassel est un site stratégique à l'époque gallo-romaine, c'est le centre de la domination des légions romaines en Morinie.
Sept voies romaines rayonnent depuis le sommet du mont.
Le "Castellum", à l'origine de Cassel, se situait à l'emplacement de l'actuel jardin public.
Il n'en subsiste que quelques pans des murs d'enceinte.