L’Empereur, arrivé à l’île d’Elbe le 4 mai 1814, choisit pour résidence, dans le centre historique de Portoferraio, les Mulini, villa construite à l’endroit où se dressaient auparavant quatre moulins (d’où son nom), entre le Fort Falcone et le Fort della Stella, jusque là résidence des commandants français du Génie et de l’Artillerie de l’île, appelée dès lors “palazzina dei Mulini”. Il fait réaliser quelques travaux et l’occupe à partir du 21 mai.
Sa résidence principale à Portoferraio, se double de celle d’été, dans l’arrière-pays, avec la Villa San Martino. Pour acheter celle-ci, il demande un prêt à sa sœur Paolina, qui, pour satisfaire le désir de Napoléon, vent quelques uns des ses plus beaux bijoux.
Napoléon installe aux Milini une bibliothèque avec les livres apportés de France, auxquels il adjoint ceux qu’il trouve sur place, eux reçus du consul de France à Livourne, de l’ancien concierge de Fontainebleau Étienne Charvet, de Pauline Bonaparte, de Louis-Étienne Saint-Denis (le “mameluk Ali”), ou commandés à des libraires de Livourne et de Gènes. Il obtient par ailleurs des prêts de son oncle le cardinal Fesch et de Neil Campbell, commissaire anglais chargé de la surveillance de l’île.
Au début 1815, selon un catalogue dressé par le grand maréchal Bertrand, l’ensemble se monte à 878 titres en 5188 volumes, répartis en trois ensembles: une bibliothèque personnelle, une bibliothèque accessible aux occupants du Palais et aux collaborateurs réguliers (Pauline, madame Mère, Bertrand, Drouot, Cambronne, etc.),et une bibliothèque d’apparat, pour les réunions et les réceptions.
Dans cette île, il retrouve André Pons de l’Hérault, qu’il connait depuis le siège de Toulon. Pons, fervent républicain, y est administrateur des nombreuses mines de fer. Si au début les relations entre les deux hommes sont difficiles, Pons est rapidement séduit par l’Empereur, et le suivra en France pendant les Cent-Jours.
Napoléon ne quittera ces lieux que le 26 février 1815, cap sur Golfe-Juan. Mis à part Longwood, où il est retenu prisonnier, L’Empereur n’a jamais séjourné dans un même lieu aussi longtemps qu’aux Mulini.