Soupçonnée par l’Empereur d’être la maitresse du lieutenant-colonel Basil Jackson depuis mars 1819 – l’empereur n’étant pas jaloux mais craignant ses bavardages – Albine de Montholon cherche à rentre en Europe.
Elle se prétend malade du foie, et consulte le docteur Livingstone qui déclare que l’air de l’Europe lui est indispensable, et qu’il n’y a plus de salut pour elle à Sainte-Hélène. À son époux, qui désirerait aussi partir, Napoléon rétorque qu’il ne pouvait le quitter, quand bien même son épouse et ses enfants partiraient.
le 14 avril, Napoléon propose une compensation financière à Montholon pour qu’il reste à ses côtés, et laisse partir sa famille sans lui. Les Montholon demandent pour se séparer 500 000 francs !
Le 26 mai, Montholon accepte de rester sur place et de laisser partir son épouse et ses enfants. Il justifie à nouveau ce départ par une raison médicale, un certificat étant rédigé conjointement par les docteurs Livingstone et Verling.
Albine de Montholon et ses enfants quittent Longwood et s’embarquent le 2 juillet sur le Lady Campbell. Elle y embarque avec 12 dindes, 72 volailles, 2 canards, 2 chèvres pour le lait des enfants, et nombre de bouteilles de vin dont 15 de vin de Constance.
Montholon lui écrira: “l’Empereur témoigne un grand regret de ton départ, ses larmes ont coulé pour toi peut-être pour la première fois de sa vie !”
Le 8 juillet, Basil Jackson quitte lui aussi Sainte-Hélène, pour suivre Albine de Montholon en Europe, sur les ordres de Hudson Lowe…