Edifié au XIIIème siècle par l'évêque de Cambrai pour asseoir son pouvoir, il est emmotté et englobé partiellement dans les murailles de la ville au XVIème siècle, puis surmonté d'une vaste terrasse. Il conserve encore sa gaine d'époque médiévale (couloir voûté et percé d'archères reliant les tours et assurant une défense frontale). Utilisé comme prison dès la fin du XIVème siècle et jusqu'à la Révolution, il abrite, depuis une rénovation récente, la Cité Judiciaire de Cambrai.