Internet Archive
Brewster Kahle crée Internet Archive en 1996. Il veut bâtir une bibliothèque numérique universelle qui garderait trace de l’histoire d’Internet. Pas une archive fermée dans un coffre-fort numérique, mais un espace ouvert où chacun pourrait retrouver les pages disparues du web. La Wayback Machine, lancée en octobre 2001, donne accès 24 ans plus tard à plus de mille milliards de pages Web et plus de 99 pétaoctets de données. Un vertige.
Kahle fixe dès le départ des règles simples. N’utiliser que du matériel standard. Bannir les logiciels commerciaux. Garder une architecture assez simple pour qu’on n’ait pas besoin d’un doctorat pour la maintenir. Ces choix pragmatiques expliquent probablement pourquoi le service tourne depuis plus de vingt ans avec moins de cinq personnes pour s’en occuper. Une longévité presque incroyable dans l’univers du web.
L’infrastructure repose sur des nœuds de stockage dispersés et des serveurs web en façade. Les données se répartissent sur plus de 2 500 nœuds, soit plus de 6 000 disques durs. La capacité totale frôle le pétaoctet. Chaque jour, le système traite des dizaines de millions de requêtes et transfère plus de 40 téraoctets de données.
Contrairement aux sites classiques, Internet Archive n’utilise pas de cache. Cette absence surprend au premier abord. Mais les concepteurs ont vite compris que les requêtes sur des archives se dispersent trop dans le temps et l’espace. Un cache traditionnel ne servirait à rien. Ils ont préféré optimiser directement l’accès aux données stockées.
Le format ARC structure le stockage des pages archivées. Chaque fichier regroupe environ 100 mégaoctets de pages sans lien entre elles, accompagnées de leurs en-têtes. L’organisation rend le stockage efficace mais impose de lire séquentiellement pour retrouver une page précise. Chaque fichier existe sur au moins deux nœuds différents, histoire de ne pas tout perdre en cas de panne.
Pour localiser les données, le système adopte une méthode originale. Pas d’index centralisé. Les requêtes partent en UDP vers tous les nœuds de stockage. Chaque nœud garde en mémoire la liste de ses fichiers et répond s’il a ce qu’on cherche. Cette approche distribuée résiste bien aux pannes et simplifie l’ajout ou le retrait de nœuds.
Les statistiques montrent que l’anglais écrase les autres langues dans les contenus consultés. Les langues européennes suivent, loin derrière. Plus de 82% des sessions humaines arrivent par des liens externes. Wikipédia arrive en tête des sites qui envoient du trafic vers Internet Archive. La plupart des pages consultées n’existent plus sur le web actif. La preuve que l’archive joue bien son rôle de mémoire.
Deux types d’utilisateurs se partagent les accès : les humains et les robots. Les sessions robotiques sont dix fois plus nombreuses mais génèrent autant de données que les sessions humaines. Les robots ne viennent jamais avec un référent dans leurs requêtes, alors que les utilisateurs humains arrivent presque toujours via des liens.
La croissance du web impose des défis constants. L’index des URL archivées dépasse 2 téraoctets. Au début, sa mise à jour posait problème. Les disques chauffaient trop sous l’activité intense. Le déménagement vers un centre de données mieux refroidi et une méthode de mise à jour incrémentale ont résolu le problème. De plus, les disques SSD ouvrent de nouvelles pistes. Ils surpassent les disques mécaniques sur les accès aléatoires, fréquents dans l’usage des archives. Ces technologies pourraient rendre efficaces des systèmes de cache, jusqu’ici impossibles avec les supports traditionnels.
Internet Archive travaille avec d’autres institutions comme la Bibliotheca Alexandrina en Égypte ou les Archives européennes. Ces collaborations servent à répliquer les données géographiquement. La disponibilité s’améliore et la préservation aussi. Le service propose aussi des collections spécialisées : le Million Book Project, les Archives Prelinger. La mission s’élargit au-delà de l’archivage du web.
En 2024, Google Search facilite plus que jamais l’accès au passé. Les versions archivées de pages Web sont directement accessibles avec un simple lien vers la Wayback Machine de l’Internet Archive.
Internet Archive démontre qu’une approche minimaliste peut aboutir à un service durable. Son architecture privilégie la simplicité et la solidité plutôt que la sophistication. Un système d’archivage à grande échelle est capable de fonctionner avec une équipe réduite. Cette réussite inspire aujourd’hui d’autres projets d’archivage numérique dans le monde.