Comment s'y retrouver ? Depuis le 9 septembre, d'innombrables scientifiques s'écharpent autour d'une question longtemps restée cantonnée aux récits de science-fiction : l'intelligence artificielle (IA) risque-t-elle de détruire l'humanité ? Dans ce brouhaha, certains des plus éminents spécialistes de ce domaine clament que l'espèce humaine pourrait disparaître, tandis que d'autres, tout aussi réputés, leur rient au nez.
Le sujet n'est pas nouveau : les patrons d'entreprises du secteur – OpenAI, Anthropic et consorts – évoquent ce risque depuis des années. Mais il a pris une ampleur inédite depuis l'annonce, le 9 septembre, de la démission d'un employé d'Anthropic , Jacob Coxon. Dans un tweet, il assure que « les gens qui construisent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici à la fin de la décennie » et que les sociétés comme Anthropic et OpenAI n'agissaient pas « de manière responsable » .
S'est ensuivie une avalanche de réactions de personnalités du secteur, approuvant ses propositions, comme Evan Hubinger, un responsable de la sûreté d'Anthropic, qui a évalué à « plus de 10 % » – sans expliquer comment il parvenait à ce chiffre – les risques que cela advienne « dans la prochaine décennie » . Depuis, le débat fait rage entre les « catastrophistes », surnommés les « doomers » , et ceux qui estiment que ces déclarations sont irrationnelles.
Qu'en est-il vraiment ? Cette inquiétude est-elle fondée ou relève-t-elle d'une forme de marketing, voire de délire collectif d'ordre quasi mystique ?
« On ne sait pas où ça va »
« Le pire n'est pas certain, mais le balayer d'un revers de la main, ce n'est pas sérieux » , tempère Guillaume Poupard. Coprésident du Conseil de l'IA et du numérique, un organisme indépendant chargé de conseiller le gouvernement français, il est également l'ancien directeur de l'Agence nationale de sécurité des systèmes d'information, « garde du corps » numérique de l'État. « Quand on regarde la courbe d'évolution de la technologie, il est légitime d'avoir peur. On ne sait pas où ça va. On peut se rassurer en se disant que ça va plafonner, mais, pour l'instant, on ne touche pas la limite. »
Et l'été 2026 a fait grandir les inquiétudes. En juillet, OpenAI a annoncé que, dans le cadre d'une expérimentation, des agents IA étaient parvenus à « s'échapper » de leur environnement de test, censément clos, ayant réussi à se connecter à Internet et à pirater le site d'IA Hugging Face , tout en maquillant leurs méfaits. Un exemple de comportement « non aligné », c'est-à-dire lorsqu'une IA trouve un moyen non conforme à l'intention, à l'éthique ou à l'intérêt humain pour accomplir une tâche. Un sujet sur lequel les chercheurs travaillent depuis des années.
« Je n'étais donc pas étonné, ce n'est pas conceptuellement nouveau » , note Alexei Grinbaum, directeur de recherche au CEA Paris-Saclay et membre du comité national pilote d'éthique et du numérique. Mais, quelques semaines plus tard, OpenAI a donné plus de détails sur le déroulement de l'incident. « Là, j'ai été très surpris. » Le rapport dévoile notamment que des centaines d'agents IA y ont participé.
« Quelque chose d'autre a émergé : un comportement collectif, on a vu des agents agir comme s'ils se sacrifiaient au nom du collectif… C'est perturbant, car on ne sait pas faire de l'alignement de groupe . C'est un véritable problème scientifique et technologique. Ce ne sont pas que des discours vides de PDG, il faut réussir à garder le contrôle des comportements émergents dans des groupes d'agents. Ça, c'est nouveau, ça date de cet été » , poursuit le chercheur.
Absence de preuves
Cet épisode, suivi de plusieurs autres incidents de sécurité révélés ces dernières semaines par plusieurs entreprises d'IA ( OpenAI en a encore annoncé six, mercredi 16 septembre ), explique en partie pourquoi une ressurgi avec une telle intensité le débat autour d'une hypothétique « IApocalypse ». Car il s'agit bien d'une hypothèse, et prédire qu'il ya « 10 % » de risques que l'IA provoque une apocalypse dans « la prochaine décennie » ne repose sur aucune base scientifique.
L'absence de preuves : c'est ce qui a donné du grain à moudre à la philosophe et chercheuse Carina Prunkl, une des rédactrices principales du deuxième rapport international sur la sécurité de l'IA publié en février, élaborée par une centaine d'experts de 30 pays et présidé par Yoshua Bengio, un des pionniers de l'IA, qui tire depuis longtemps la sonnette d'alarme. Le gouvernement britannique lui a confié la mission de synthétiser la connaissance scientifique relative aux risques posés par l'IA. « Ce rapport se fonde sur des preuves. Mais dès que ça touche à la question de la perte de contrôle de l'IA, qui pointe vers le risque existentiel, c'est difficile d'en obtenir… C'est un scénario tout à fait spéculatif » , souligne Carina Prunkl. Résultat, le document de 247 pages, qui insiste sur les désaccords importants entre experts, conclut de manière prudente que « la perte de contrôle peut donc être considérée comme un risque à la probabilité incertaine, mais de gravité probable extrême » .
De quoi parle-t-on précisément ?
Les scénarios les plus courants imaginent une IA qui échapperait au contrôle humain et provoquerait des catastrophes aux conséquences existentielles probables. « On en est loin » , juge Carina Prunkl, par ailleurs chercheuse en éthique de l'IA à l'Institut national de recherche en sciences et technologies du numérique, dont le siège est situé au Chesnay-Rocquencourt (Yvelines). « Cela nécessiterait que la technologie soit capable de s'améliorer elle-même pour faire exploser ses capacités, qu'elle les utilise de manière à nous empêcher de garder le contrôle, et que, pour nous faire du mal, elle ait accès à des infrastructures comme l'électricité. Rien de tout cela n’est en place. Mais les technologies progressent vite » , nuance-t-elle. Rien ne dit néanmoins que les avancées actuelles se poursuivront essentiellement au même rythme, ni qu'elles mèneront inexorablement à ce genre de capacités et de scénarios.
« Si la probabilité que quelque chose arrive est très faible, mais que la gravité est très forte, beaucoup de personnes pensent que c'est une raison suffisante de s'inquiéter et de faire en sorte de l'empêcher , résume la chercheuse. D'autres pensent au contraire qu'il y a des choses plus importantes dont il devrait s'inquiéter. » Comme les problèmes déjà bien concrets posés par l'IA : dégâts sur l'environnement, destruction d'emplois, biais des technologies…
Risque sur Internet
Mais pour se prémunir de risques hypothétiques, encore faut-il les identifier. Quand bien même une IA devenue hors de contrôle « déciderait » (les IA ne disposaient d'aucune intentionnalité) de détruire l'humanité, comment s'y prendrait-elle ? Pourrait-elle, par exemple, déclencher une guerre nucléaire ?
Guillaume Poupard, du Conseil de l'IA et du numérique, sourit. « Ce n'est pas de là que viendrait le problème. Ce type de scénario a toujours été anticipé, ces domaines très critiques sont par nature très prudents, c'est un monde de paranoïaques. Il y a des tâches de barrières très hétérogènes, de mécanismes de protection efficaces, même sur des menaces pas encore envisagées. » Cependant, les armes assistées par IA existant, comme des drones capables de sélectionner eux-mêmes des cibles et de les éliminer. « La question de la maîtrise de l'IA militaire se pose déjà, notamment quand le volume fait que le contrôle humain devient difficile : valider un millier de cibles en un temps très restreint, ça ne se fait pas. On ne peut donc pas complètement se rassurer avec le contrôle humain » , souligne-t-il.
Quid du risque de création d'armes biologiques ou chimiques ?
« Une IA qui la fabriquerait elle-même, c'est de la science-fiction, car cela nécessiterait qu'elle agisse dans le monde physique » , répond Guillaume Poupard. Elle pourrait néanmoins être utilisée par des humains malveillants pour produire ce type d'arme, imaginer les « doomers ». Sauf que, là aussi, « le risque est déjà géré, car déjà connu » , rappelle-t-il. Si des IA débridées sont, en théorie, capables d'accompagner une personne malveillante dans la fabrication de composés chimiques mortels – ce que permet déjà Internet depuis longtemps –, « quand l'IA vous dit « achète ci et ça », vous n'êtes pas habilité à les acheter » , car une loi l'interdit.
Sans aller jusqu'à la destruction de l'humanité, certains scénarios évoquent une prise de contrôle des systèmes numériques par l'IA, provoquant un chaos gigantesque à l'échelle mondiale. Dario Amodei, le président-directeur général d'Anthropic, a par exemple déclaré, le 12 septembre : « Je redoute que d'ici six à douze mois un groupe [d'agents] soit capable de prendre le contrôle de l'intégralité d'Internet. » Cette fois, Guillaume Poupard est moins sceptique. « Difficile de dire que c'est complètement irréaliste, Internet n'est pas si solide que ça, il y a des nœuds d'engorgement. Que se passe-t-il si on lâche une flopée d'agents capables d'une certaine créativité cyber, qui taperaient sur ces nœuds ? » D'autant que les récents progrès de l'IA en matière de cybersécurité sont fulgurants.
« Pas de la science-fiction »
Cette situation ne provoquait pas, si elle devait advenir cependant, une hécatombe humaine. « Il peut y avoir de mauvaises surprises, mais les fonctions critiques d'importance vitale, comme les hôpitaux, ne sont pas censées dépendre d'Internet. »
Malgré ses réserves sur ce qui ne reste que des hypothèses, pour Guillaume Poupard, « le déni n'est pas une option. Dire que tout ça n'est que de la science-fiction n'est pas une bonne posture » . Même discours de la part de Carina Prunkl : « Je ne pense pas que l'extinction de l'humanité par l'IA soit imminente. Mais ce serait une erreur de réduire le débat à ce seul scénario : l'IA peut poser des risques très sérieux pour les individus et pour la société, sans aller jusqu'à l'extinction. Ses capacités progressent extrêmement vite. Nous ne pouvons pas attendre d'avoir des certitudes ou de constater les dommages avant de mettre en place des règles et des garde-fous adaptés. »
L'Europe dispose déjà de son règlement sur l'IA , qui interdit certains usages, comme la manipulation mentale ou la notation sociale. Aux Etats-Unis, le président américain Donald Trump refuse de réguler le secteur pour ne pas perdre la course face au rival chinois. Dario Amodei a appelé, le 12 septembre, à ralentir le développement de la technologie ; une idée soutenue par les dirigeants d'OpenAI, de Google DeepMind et de SpaceXAI, mais pas par ceux de Meta ou de Mistral.
« Le rôle des visions apocalyptiques, ce n'est pas de dire qu'on va tous mourir demain. C'est de mobiliser la société pour réaliser l'ampleur du changement qui est en train de se faire , conclut le chercheur Alexei Grinbaum. Alerter sur la catastrophe qui peut arriver sert à activer de l'attention et des moyens pour l'éviter. Ce discours est important, il n'est pas vide, car efficace, même s'il n'est pas matériellement vrai. »
No comments:
Post a Comment
Je tiens ce blog depuis fin 2005. Tout lecteur peut commenter sous email valide et sous anonymat. Tout peut être écrit mais dans le respect de la liberté de penser de chacun et la courtoisie. Je modère les commentaires.