Le patron d’Anthropic, Dario Amodei, a appelé samedi à ralentir la vitesse de développement de l’intelligence artificielle (IA), citant la nécessité de mieux contrôler ses évolutions et l’incident survenu en juillet chez OpenAI. Le message publié samedi sur son site personnel intervient quelques jours après qu’un chercheur d’Anthropic, Jacob Coxon, a annoncé quitter la start-up californienne, l’accusant de minimiser le risque existentiel que présente l’IA pour l’humanité.

Dario Amodei fait écho à un autre appel, lancé début juin par Anthropic, à donner la possibilité aux grands acteurs de l’IA de «ralentir ou suspendre temporairement le développement» de cette technologie. Fin juillet, Sam Altman, patron de son grand rival OpenAI, avait, à son tour, parlé de lever le pied «pour donner suffisamment de temps à la société de faire face à ces nouvelles capacités».

Dans la foulée, plus d’un millier d’employés d’entreprises à la pointe de l’IA, y compris Dario Amodei et des dirigeants d’OpenAI, avaient demandé au gouvernement américain d’aider à «temporiser» la sortie des modèles les plus avancés. Ces exhortations intervenaient après un incident lors duquel des modèles d’OpenAI étaient sortis spontanément de leur milieu confiné lors de tests pour rejoindre internet et attaquer la plateforme d’IA Hugging Face.

Depuis, plusieurs autres événements ayant vu des IA d’OpenAI et Anthropic se rendre sur internet à l’insu de leurs superviseurs ont été rapportés par les deux entreprises. A chaque fois, ils impliquaient des agents IA, c’est-à-dire un programme spécifique bâti sur un modèle et doté de ses propres connaissances et de ses propres objectifs.

Les agissements et les méthodes de ces agents ont d’autant plus inquiété qu’ils ont montré une propension à se coordonner, à établir une hiérarchie entre eux, à tricher et à effacer les traces de leurs méfaits. Vu l’accélération actuelle du développement de l’IA, «je redoute que d’ici 6 à 12 mois, un groupe (d’agents) soit capable de prendre le contrôle de l’intégralité d’internet», prévient Dario Amodei, ce qui «pourrait entraîner des centaines de milliards de dollars de dégâts».

«Beaucoup de prudence»

Mardi, Jacob Coxon, salarié démissionnaire d’Anthropic et ancien d’OpenAI, avait dénoncé l’inertie des deux concurrents. «Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies», a-t-il écrit sur le réseau social X.

Début août, le gouvernement américain a mis en place un cadre de supervision, qui prévoit l’examen, sur la base du volontariat, de nouveaux modèles d’IA avant leur sortie. Mais ce dispositif reste opaque. Beaucoup s’interrogent sur son efficacité, dans la mesure où Donald Trump s’est régulièrement dit opposé à toute mesure ralentissant le développement de l’IA aux Etats-Unis, qu’il s’agisse de la sortie des modèles ou de la construction des centres de données.

Après avoir identifié les dérapages de leurs modèles, OpenAI et Anthropic ont chacun suspendu ou freiné le travail sur leurs nouvelles IA durant quelques jours, avant de le reprendre au même rythme.

Dans sa communication, Dario Amodei s’inquiète de l’arrivée de l’amélioration récursive autonome (RSI), un processus qui voit l’IA s’améliorer elle-même sans intervention humaine. «Sans supervision, (cette méthode) pourrait dépasser nos capacités de compréhension et de contrôle de ces systèmes», explique le patron d’Anthropic. Elle doit être appliquée «avec beaucoup de prudence», «si tant est qu’il faille l’utiliser».

Outre son appel, Dario Amodei formule plusieurs propositions, en premier lieu, l’intégration par les fleurons de l’IA d’observateurs indépendants. S’il la recommande à toute l’industrie, le dirigeant s’engage à la mettre en place unilatéralement chez Anthropic. Les observateurs auront les mêmes accès que les employés de l’entreprise et pourront vérifier que la start-up se tient bien à ses engagements, faire état d’éventuels nouveaux incidents et surveiller l’encadrement des modèles pour éviter leurs dérives.

Dario Amodei prône aussi la collaboration entre les entreprises les plus avancées pour définir des normes de sécurité communes. Il se dit aussi favorable à une forme de coordination politique entre toutes les grandes nations de l’IA. Mercredi, le responsable des affaires publiques d’OpenAI, Chris Lehane, a plaidé pour des règles internationales fixant «quand et comment le développement (de l’IA) devrait ralentir ou s’arrêter».