La création du port de Rochefort par Colbert entraîne à l'embouchure de la Charente d'importantes fortifications dont bénéficie aussitôt l'île d'Aix. Sous la direction du célèbre ingénieur Vauban, des ouvrages considérables de défense sont entrepris notemment sur l'ile d'Aix. Napoléon Bonaparte s'intéresse de près aux fortifications de l'île d'Aix dès 1801. Napoléon Bonaparte ordonne la construction sur l'ile d'Aix, d'une maison pour le commandant de la place, c'est l'actuel musée Napoléon. L'heure de gloire de l'île d'Aix devait rester le dernier séjour en terre française qu'y fit Napoléon Bonaparte du 12 au 15 juillet 1815.
Le baron Napoléon Gourgaud, arrière-petit-fils du général Gaspard Gourgaud, présent au moment du départ de l'île d'Aix et qui suivra l'Empereur Napoléon Bonaparte à Sainte Hélène acheta la maison dans laquelle l'Empereur Napoléon 1er se rendit aux Anglais. Il en fit le musée napoléonien et africain de l'ile d'Aix.