L’Imperatore, giunto all’Isola d’Elba il 4 maggio 1814, scelse come residenza, nel centro storico di Portoferraio, i Mulini, villa costruita nel luogo dove sorgevano quattro mulini (da cui il nome), tra il Forte Falcone e il Forte della Stella, fino ad allora residenza dei comandanti francesi del Genio e dell’Artiglieria dell’isola, chiamata da allora “Palazzina dei Mulini”. Fece realizzare alcuni lavori e lo occupò a partire dal 21 maggio.
La sua residenza principale a Portoferraio, raddoppia quella estiva, nell’entroterra, con Villa San Martino. Per acquistarla, chiede un prestito alla sorella Paolina, che, per soddisfare il desiderio di Napoleone, vende alcuni dei suoi gioielli più belli.
Napoleone installa ai Milini una biblioteca con i libri portati dalla Francia, ai quali aggiunge quelli che trova sul posto, ricevuti dal console di Francia a Livorno, dall’ex concierge di Fontainebleau Étienne Charvet, di Pauline Bonaparte, di Louis-Étienne Saint-Denis (il “mamelucco Ali”), o ordinati a librerie di Livorno e di Genova. Ottenne inoltre prestiti da suo zio, il cardinale Fesch, e da Neil Campbell, commissario inglese incaricato della sorveglianza dell’isola.
All’inizio del 1815, secondo un catalogo redatto dal grande maresciallo Bertrand, l’insieme ammonta a 878 titoli in 5188 volumi, suddivisi in tre insiemi: una biblioteca personale, una biblioteca accessibile agli occupanti del Palazzo e ai collaboratori regolari (Pauline, Madame Mère, Bertrand, Drouot, Cambronne, ecc.) e una biblioteca di gala, per riunioni e ricevimenti.
In quest’isola ritrovò André Pons del’Hérault, che conosceva sin dall’assedio di Tolone. Pons, fervente repubblicano, è amministratore delle numerose miniere di ferro. Se all’inizio le relazioni tra i due uomini erano difficili, Pons fu rapidamente sedotto dall’imperatore, e lo seguirà in Francia durante i Cento giorni.
Napoleone lascerà questi luoghi solo il 26 febbraio 1815, diretto a Golfe-Juan.