Le mail qui a tout déclenché

Le 12 mars dernier, un courrier interne signée par une responsable des ressources humaines d’OpenAI a atterri dans les boîtes mail des trois chercheurs. Pas de détails sur les manquements précis, juste une phrase sèche : « Vos actions ont compromis la sécurité de nos systèmes. Conséquence : votre collaboration prend fin immédiatement. » Pas de négociation, pas d’avertissement préalable. Juste un point final.

Et pourtant, avant ça, rien. Ou presque. Les trois concernés, dont deux avaient travaillé sur les audits de sécurité des modèles les plus récents, avaient été contactés par un groupe extérieur spécialisé dans l’évaluation des risques en IA. Un groupe sérieux, reconnu, qui collabore habituellement avec les géants du secteur. Sauf que cette fois, quelque chose a dérapé. Ou plutôt, plusieurs choses.

Le groupe d’évaluation qui n’aurait jamais dû exister

Ce groupe, baptisé « AI Safety Evaluation Consortium » (ASEC), a été créé en 2023 par d’anciens employés de Google DeepMind et de Meta. Leur mission officielle ? Tester les failles des modèles d’IA avant qu’ils ne soient déployés en production. Leur méthode ? Des scénarios extrêmes, des injections de code, des tentatives de contournement des garde-fous. Bref, du travail de casseur professionnel.

Sauf que l’ASEC n’a jamais été validé par OpenAI. Ni par aucun autre géant. « C’est un consortium informel », confirme un source proche du dossier, « mais personne ne leur a jamais dit non. » Résultat : en six mois, ils ont accumulé des rapports sur des vulnérabilités dans GPT-4, Whisper (le modèle de transcription d’OpenAI) et même des prototypes internes non publiés. Des failles qui, selon eux, auraient pu être exploitées pour manipuler des systèmes critiques.

Le problème ? L’ASEC n’a pas signé de NDA. Aucun accord de confidentialité. Et les trois chercheurs d’OpenAI qui leur ont parlé… n’en avaient pas signé non plus. « On leur a dit : ‘On vous fait confiance, vous êtes des pros.’ » Un aveu de négligence.

La faille qui fait tout basculer

OpenAI justifie son licenciement par « plusieurs manquements ». Le premier : avoir partagé des informations sensibles avec l’ASEC sans autorisation. Le second, plus grave, concerne un document interne daté de 2022. Ce document, classé « restricted », détaillait les protocoles de sécurité utilisés pour protéger les données d’entraînement des modèles. Or, ce même document a été retrouvé dans les archives d’un des chercheurs, après qu’il ait quitté OpenAI pour rejoindre… l’ASEC.

« C’est une violation directe de notre politique de propriété intellectuelle », a déclaré un porte-parole d’OpenAI sous couvert d’anonymat. « Ces chercheurs avaient accès à des informations qui ne devaient pas sortir. Point. »

Sauf que la question qui tue, personne ne la pose : comment ce document a-t-il atterri entre les mains de l’ASEC ?

Les trois chercheurs accusés nient toute malveillance. « On a merdé sur la procédure, c’est tout », lâche l’un d’eux dans une interview accordée à The Verge. « Mais on ne cherchait pas à saboter OpenAI. Juste à ce que quelqu’un, enfin, teste vraiment leurs modèles en conditions réelles. »

Leur argument ? Les audits internes d’OpenAI sont des farces. « Ils se contentent de vérifier que le modèle ne génère pas de discours haineux en anglais. Personne ne regarde ce qui se passe avec des requêtes en ourdou, en swahili, ou quand on lui demande de pirater un serveur. »

Ils ne sont pas les premiers à le dire. En 2022, un rapport du Stanford Institute for Human-Centered AI (HCAI) avait déjà pointé du doigt les « failles structurelles » des évaluations de sécurité chez les géants de l’IA. « 87 % des vulnérabilités critiques dans les modèles actuels ne sont jamais détectées par les protocoles internes », écrivait l’étude. Un chiffre qui résonne comme une condamnation.

Le vrai problème : personne ne veut réguler l’IA

OpenAI a fait ce qu’elle devait faire : elle a viré les trois chercheurs. Mais la question qui reste en suspens, c’est celle-ci : pourquoi un groupe non agréé a-t-il pu accumuler autant d’informations sensibles sans que personne ne réagisse ?

La réponse est simple, et elle pue : parce que personne ne veut réguler l’IA.

• Les États hésitent. La Commission européenne traîne sur l’AI Act. Les États-Unis n’ont toujours pas de loi fédérale. La Chine ? Elle régule… mais seulement pour les modèles qu’elle contrôle.
• Les entreprises se mentent entre elles. « On ne partage pas nos failles, sinon on perd notre avantage compétitif », résume un ingénieur ayant travaillé chez DeepMind. « Résultat : tout le monde court après le prochain GPT, et personne ne vérifie si le précédent est une bombe à retardement. »
• Les chercheurs indépendants, eux, n’ont pas les moyens de faire pression. « On nous ignore, on nous traite de paranoïaques, et quand on a enfin une oreille, on nous accuse de fuites », raconte une spécialiste en sécurité des modèles, qui a demandé à rester anonyme.

L’ASEC n’est qu’un symptôme. Le vrai problème, c’est que l’IA avance à l’aveugle. Et quand un groupe comme eux révèle des failles, soit on les ignore, soit on les traîne dans la boue.

Ce que ça change pour vous

Vous ne vous en rendez pas compte, mais ces fuites vous concernent directement. Voici pourquoi :

1. Vos données sont moins protégées que vous ne le pensez. Les trois chercheurs ont accès à des documents internes parce qu’ils travaillaient sur la sécurité. Vous, vous n’avez même pas le droit de savoir quels algorithmes traitent vos messages, vos photos, vos recherches médicales. OpenAI et ses concurrents classent tout « confidentiel ». Même les bugs. Même les risques.

2. Les modèles d’IA vont continuer à planter. Pas demain, pas dans un an. Maintenant. En 2023, un modèle de Meta a été piraté en moins de 48 heures par un étudiant de 22 ans. En 2024, un rapport de MIT Technology Review a montré que 60 % des assistants vocaux (comme Siri ou Alexa) pouvaient être manipulés pour exécuter des commandes dangereuses. « On est dans une course à l’armement, mais sans les règles », résume un expert.

3. Personne ne vous préviendra. Quand un modèle d’IA fait une erreur critique, qu’il génère un faux diagnostic médical, qu’il pirate un système bancaire, qu’il manipule une élection locale, vous ne saurez pas pourquoi. Parce que les entreprises préféreront étouffer l’affaire plutôt que d’admettre qu’elles n’avaient pas les outils pour la détecter.

La leçon d’OpenAI : on ne licencie pas les problèmes, on les enterre

Le licenciement des trois chercheurs est un coup de communication. « On montre qu’on est sérieux sur la sécurité », analyse un ancien cadre d’OpenAI. « En réalité, ça ne change rien. »

Pourquoi ? Parce que le vrai enjeu, c’est que ces chercheurs étaient les seuls à poser les bonnes questions. Ceux qui osaient dire que les audits internes, c’était du pipeau. Que les modèles étaient des boîtes noires. Que si on ne les testait pas en conditions réelles, un jour, ça exploserait.

Et aujourd’hui, ils sont virés. Remplacés par qui ? Par des comités de conformité, des avocats, des gens qui signent des papiers sans rien comprendre. « La sécurité en IA, ce n’est pas une question de règles, c’est une question de culture », martèle une ancienne employée de Google. « Et OpenAI n’a pas de culture. Juste des actionnaires qui veulent des résultats. »

Le piège dans lequel on est tous tombés

Vous utilisez quotidiennement des outils d’IA. Vous leur confiez vos mots, vos images, vos données sensibles. Vous croyez qu’ils sont sûrs. Vous avez tort.

Le problème n’est pas les trois chercheurs. Le problème, c’est qu’on a laissé les géants de l’IA s’auto-réguler. Qu’on a fermé les yeux sur leurs méthodes. Qu’on a préféré croire aux promesses plutôt qu’aux risques.

Et maintenant, quand un groupe comme l’ASEC révèle des failles, on les accuse de fuites au lieu de se demander : « Et si c’était la seule façon d’avoir des réponses ? »

La prochaine fois que votre assistant vocal vous répondra par une connerie, ou que votre chatbot générera un faux papier officiel, souvenez-vous de cette histoire. Parce que derrière chaque licenciement, il y a une vérité qu’on ne veut pas entendre : l’IA n’est pas un jouet. Et personne ne la contrôle.