La citadelle, et plus précisément l'enceinte fortifiée, fut construite sous Louis XIII, en 1630.
Plus tard, Colbert envoya sur Oléron le chevalier de Clerville, afin de faire ériger une enceinte et une place forte qui protègeraient Rochefort des invasions anglaises. Plus de 7 000 ouvriers y travaillèrent jusqu'en 1742, où la façade et la porte d'entrée furent achevées.
Ce site historique et magique résumé le talent de Vauban, alliant équilibre, esthétisme et puissance.
Victime d'énormes dégâts à la Libération, le site fut remis en état à partir de 1988, devenant ainsi le cadre d'expositions et de balades agréable avec ses douves, ses passages surélevés au-dessus de l'eau, ses passerelles, ...