Pour gérer les dizaines (centaines?) de milliards de documents accessible sur le web, mieux vaut disposer d’une technologie à toute épreuve. Avec ce type d’ordre de grandeur, on se heurte fréquemment à des problèmes comme celui-ci, où les dépassements des tailles limites représentées par un entier long sont monnaie courante. D’où l’intérêt de développer son propre système d’exploitation, à mi chemin entre le gestionnaire de fichier et la base de donénes.
Chaque année, Google organise une conférence sur les sujets liés à la scalabilité (quel horrible terme), la gestion du gigantisme informatique. Certaines des sessions de cette conférence sont accessibles en ligne. La suivante m’a particulièrement intéressé (devinez pourquoi?). On y apprend pourquoi et comment ce système a été créé. Une video d’une heure absolument passionnante.
