Au XVIIème siècle, Vauban et ses ingénieurs dirigèrent les travaux de fortification de la ville afin de protéger la Rochelle et Rochefort de l'invasion anglaise.
Avant de devenir pénitencier, la citadelle servit de lieu de rassemblement des forçats envoyés dans les bagnes de Nouvelle-Calédonie et de Guyane. Cette place forte inviolée peut se découvrir par le biais de visite guidées.