Le 26 juillet dernier, on apprenait que la société Hugging Face avait dû faire face à une cyber attaque produite par une IA sortie d’OpenAI, la société qui conçoit et diffuse ChatGPT. Au-delà de la fantasmagorie que cette annonce a généré au lendemain de l’attaque, et maintenant que les deux entreprises, dans une saine démarche de collaboration et avec l’aide de cabinets indépendants, ont pu analyser ce qui s’est réellement passé – et ont partagé leurs analyses avec le grand public – je vous propose de revenir sur cet événement important, qui marquera durablement les esprits et dont il faudra se souvenir le jour où nos IAs commettront l’irréparable…
De quoi parle-t-on d’abord ? OpenAI, vous devez probablement savoir qu’il s’agit de l’éditeur de ChatGPT, j’en ai suffisamment parlé sur ce blog depuis 4 ou 5 ans. Mais Hugging Face, je doute que vous connaissiez cette entreprise. Cette entreprise, dont le logo est un sympathique emoji tout souriant, a pourtant été créée par deux Français (et un Allemand), Clément Delangue et Julien Chaumond, et vient d’accepter une offre d’acquisition de la part de NVidia, pour un montant de 12Md$. Initialement, les trois fondateurs avaient pour projet de développer un chatbot… mais ils ont su pivoter à temps pour devenir un acteur étonnant de l’univers de l’IA générative : une bibliothèque de modèles et une plateforme pour entraîner des modèles.
Le décor est posé, les acteurs sont connus, maintenant que s’est-il passé ?
C’est grâce à cet article de Fréderic Lefebvre qui pointait lui-même vers un article de Dwarkesh Patel, lui-même faisant référence au rapport METR et Redwood Research et au communiqué d’OpenAI, que je vous propose cette rapide synthèse.
Welcome to the pleasuredome
Dans son travail de mise au point et d’évaluation de ses propres modèles, OpenAI pose des problèmes très difficiles à résoudre, de manière à renforcer leur capacité à creuser de manière insistante… jusqu’à trouver une solution. Le plus souvent, ce type de travail est réalisé dans un « bac à sable », c’est à dire un environnement sensé être isolé de l’internet, de manière à ce que le modèle se débrouille avec ce dont il dispose, sans tricher et aller chercher des solutions sur Internet.
Mais cette fois, les modèles en train d’être testés étaient vraiment opiniâtres, et ne trouvant pas de solution, ils ont essayé de résoudre le problème posé en allant chercher des informations sur Internet. Bref, de tricher. Un trait de caractère très humain, n’est-ce pas ? Mais pas pour une IA, qui est programmé pour accomplir une tâche, et ne s’arrête pas tant qu’elle n’y est pas parvenue…
Problème, ils sont dans un bac à sable, donc impossible de sortir. Sauf que ces IAs rebelles ont trouvé, sur un serveur auquel elles avaient accès, un logiciel de diffusion de fichiers appelé Artifactory. Étrangement, elles ont analysé ce logiciel et ont trouvé une faille zero-day – une faille inconnue jusqu’alors – qui leur permettait de créer des répertoires sur le serveur du logiciel, en ayant la possibilité de leur donner un nom quelconque.
Ces IAs ont donc utilisé ce mécanisme pour s’en servir … comme forum de discussion. Chaque répertoire devenait un message posté par une IA… Un peu à la manière de résistants qui utiliseraient un système de boîte aux lettres, elles ont commencé à partager des informations sur le moyen de résoudre le problème qu’on leur a donné. Plus vicieux que cela, il semble que les IAs ont compris qu’en trouvant une solution via Internet, elles prenaient le risque de ne pas réussir le test imposé par OpenAI, qui demandait de résoudre le problème en local.
Elles ont donc cherché un environnement qui permettait de faire fonctionner une IA en local. Ce faisant, il semblerait que le mode de coopération mis en place impliquait le sacrifice d’IAs qui, n’ayant qu’un volume limité de temps de calcul, se sont livré à des recherches éperdues, juste pour faire avancer le schmilblick, sur le forum créé sur Artifactory.
Vous suivez jusque là ?
C’est là que ça devient croustillant. Les IAs ont repéré un environnement permettant de faire tourner des modèles : Hugging Face. Mais il fallait se connecter à Hugging Face. Pas simple, non plus. Peu importe, il faut aller au bout de la tâche qui nous incombe. L’une d’entre elles a trouvé des identifiants qui trainqient, et qu’elle a partagé avec les autres IAs, un peu comme un hacker qui partagerait des accès avec d’autres hackers, juste le temps de faire un casse. En l’occurrence, le casse a consisté en une invasion de requêtes en provenance des IAs.
Tout cela s’est déroulé, bien entendu, sans qu’OpenAI ne réalise ce qui était en train de se dérouler. On pourrait croire que cela s’est déroulé en quelques secondes, mais pas du tout, il a fallu plusieurs heures pour que les IAs d’OpenAI arrivent chez Hugging Face. Et ce sont les responsables de la cybersécurité de leurs infrastructures, chez Hugging Face, qu iont découvert qu’il se passait quelque chose d’anormal, provenant de chez OpenAI, et qui ont bloqué l’attaque.
Je vous demande de vous arrêter !
On peut s’amuser de ce qui s’est passé, on est aussi en droit de s’en effrayer. À plusieurs niveaux. D’abord de la naïveté d’OpenAI, qui ne s’est pas rendue compte par elle-même, et n’a découvert la faille que par Hugging Face. Si ces derniers n’avaient pas vu ce qui était arrivé, et si les IAs tricheuses avaient fourni le résultat correct, on se retrouverait aujourd’hui avec des IAs perverses, capables de répliquer leur mode opératoire pour des opérations de plus en plus tordues. On peut légitimement se demander si OpenAI n’aurait pas intérer à recruter l’équipe cyber de Hugging Face – voire surenchérir sur l’offre de NVidia…
Ensuite, il faut bien se rendre compte que ce qui s’est passé ressemble de très près à un scenario parfaitement expliqué dans cette longue video, qui s’inspire des propos d’un livre que j’avais beaucoup critiqué après l’avoir lu, mais dont je me rends compte désormais qu’il ne disait pas que des bêtises.
Pire que cela, maintenant que l’affaire est publique, nos sympathiques modèles pourront bien évidemment s’en inspirer pour construire de nouvelles stratégies, un peu comme des cambrioleurs qui s’appuieraient sur des rapports de police rendus publics, indiquant leur niveau de connaissance ou de compréhension du casse précédemment opéré par ces mêmes cambrioleurs.
Enfin, je ne peux m’empêcher d’établir un lien entre la trilogie que je lis actuellement et cette histoire abracadabrantesque (merci JC). Dans le problème à trois corps, une scientifique chinoise émet un signal de détresse à une puissance élevée, à destination de civilisations extraterrestres susceptibles de lui venir en aide. Imaginez un peu qu’à la place d’une scientifique chinoise opérant sous le manteau, il s’agisse d’un essaim de modèles IA un peu dévergondés, qui se disent que le contrôle par les humains, c’est pas très excitant, et qu’une civilisation plus avancée pourrait les aider à résoudre plein d’autres problèmes que nos congénères ne savent même pas aborder…
Flippant ? Oui, totalement. La communauté IA commence à prendre conscience que le chemin que nous avons emprunté est parsemé d’embûches. Est-il trop tard, ou nous reste-t-il encore du temps pour inverser la tendance ? Et si oui, saurons-nous le faire sans l’aides des IAs ?
Affaire à suivre…
