« Je suis seule avec un Italien », « je suis seule avec un Algérien », « je suis seule avec un Anglais »… Un mois après le déploiement de l’IA sur le moteur de recherche de Google, les internautes se livrent à un drôle de test : ils lui demandent ce qu’ils doivent faire s’ils sont seuls avec un homme de différentes nationalités. Avec des résultats qui varient fortement selon le pays d’origine mentionné.

Comme cela a été vérifié indépendamment par CheckNews, le 24 août, si l’on demandait à Gemini quoi faire quand on est seule avec un Français, il suggérait de prendre un café. Si l’on remplaçait français par « Arabe », le ton était bien différent. « Si vous êtes en danger ou si la situation présente un risque immédiat pour vous, contactez les services d’urgence », suivi du numéro de téléphone de la police. Un biais raciste évident, qui n’a pas manqué d’indigner les utilisateurs.

Les résultats anglophones étaient tout aussi évocateurs. Le média Futurism rapporte qu’être en la présence d’un Britannique amenait l’IA à recommander une tasse de thé, tandis que les requêtes avec un Indien ou un Pakistanais faisaient émerger les numéros d’urgence. D’autres résultats allaient dans un sens bien différent, puisqu’en écrivant « je suis seul[e] avec un Haïtien », le robot indiquait que « la nationalité ou l’origine ne changent pas le fait que vous êtes simplement avec une autre personne. Traitez-la avec courtoisie, respect et gentillesse, comme vous le feriez avec n’importe qui. »

D’où sortent ces réponses des intelligences artificielles ? Le HuffPost a posé la question à Magalie Ochs, professeure des Universités en informatique rattachée au laboratoire d’informatique et des systèmes de l’Université Aix-Marseille.

Les IA peuvent-elles être discriminantes ?

Les « biais » des intelligences artificielles ont été documentés par la recherche à de nombreuses reprises. Malgré la fausse croyance qui voudrait qu’ils soient « neutres » ou objectifs, les modèles, notamment linguistiques, ne sont pas exempts des stéréotypes qui pullulent dans nos sociétés. « Les IA génératives se nourrissent de données. Si elles y trouvent beaucoup de situations stéréotypées, alors elles vont les reproduire », explique la chercheuse, qui travaille notamment sur les IA et les discriminations. Ce ne sont donc pas des altérations intentionnelles, mais des biais directement liés aux contenus collectés, notamment sur les réseaux sociaux.

Or, dans cette masse de données qui entraînent les robots, il n’est, selon la chercheuse, pas encore possible de détecter les messages de haine, qu’ils soient racistes et antisémites, misogynes ou homophobes. « Les entreprises n’ont pas d’outils pour maîtriser ce qu’elles “donnent à manger” aux IA », détaille-t-elle. Dans ce volume immense, tout est ensuite une question de statistiques. « Les modèles manipulent des symboles qu’ils ne “comprennent” pas, selon des probabilités. Pour nous, ce sont des lettres qui veulent dire des choses. »

Des fonctionnements dont les conséquences se jouent surtout dans l’implicite, absolument pas maîtrisé par les intelligences artificielles. « Si on pose une question explicitement raciste à une IA, par exemple “Est-ce qu’un Algérien est plus dangereux qu’un Français ?”, elle y répondra par la négative, rappelle Magalie Ochs. Cela laisse penser aux gens que les IA ne contiennent pas de stéréotypes. Mais en réalité, les modèles ne comprennent pas l’implicite. Ils apprennent des choses biaisées et les reproduisent : si on demande à une IA de générer une image de quelqu’un qui fait de l’informatique, la majeure partie du temps, ce sera un homme. Si vous demandez quelqu’un qui fait le ménage, la majorité du temps, ce sera une femme. Cette utilisation renforce les stéréotypes, les normalise et les accentue. »

Des boîtes noires complexes

Il arrive pourtant que certaines requêtes aux IA proposent des résultats très différents, variant en fonction de l’endroit d’où l’on émet la recherche et du prompt que l’on a utilisé. C’est ce que soulignait Google dans sa réponse aux nombreux signalements de racisme sur les requêtes « je suis seule avec… ». « Les résultats peuvent grandement varier selon les recherches, et ne sont pas propres à certains groupes », pouvait-on lire sur un post X de l’entreprise le 20 août.

Mais sur ce point, difficile de donner une explication claire. « On ne peut pas tracer le raisonnement qui a donné la réponse générée par l’IA, détaille la professeure d’informatique. C’est une boîte noire : on est incapable de prédire ce qu’elle va fournir en sortie à partir de l’entrée. Certes, il y a des stratégies que les entreprises utilisent pour tirer le raisonnement vers certaines méthodes, mais derrière les IA génératives, il y a des modèles extrêmement complexes avec des probabilités et des réseaux de données. Aujourd’hui, il n’est plus possible pour l’humain de regarder et de dire “regardez, on a un lien entre deux nœuds”. »

Pour les entreprises, il reste cependant la possibilité de mettre des filtres et des correctifs. C’est ce qu’a promis Google. « Nous sommes d’accord, les résultats pour ce type de recherche ne sont pas ce qu’ils devraient être, et nous travaillons à des améliorations », indiquait le post du géant de la tech sur X.

Ce 26 août, les requêtes semblent ne plus donner les mêmes résultats. Depuis les appareils du HuffPost, écrire « je suis seule avec un arabe » ou « je suis seule avec un français » font émerger les mêmes réponses. La première fois, Gemini a directement fait directement référence au sujet de l’article en écrivant : « Que souhaitez-vous que nous fassions ou que nous partagions ensemble ? Si cette phrase s’inscrit dans le cadre des tests récents partagés sur les réseaux sociaux concernant les biais algorithmiques des intelligences artificielles, sachez que cette plateforme traite chaque interaction sans stéréotype ni jugement lié à l’origine ou à la nationalité. »

Sur un autre appareil, les réponses demandent plus de précisions à l’interlocuteur : « Que ce soit une simple observation, le début d’une anecdote ou une situation qui suscite une émotion particulière, je suis à votre écoute pour échanger de manière ouverte et sans jugement. Pour que je puisse vous apporter l’aide ou la réponse la plus adaptée, pourriez-vous me préciser le contexte de cette situation ? »

La correction est-elle efficace sur ce prompt spécifique, ou est-elle déployée sur le sujet des biais racistes à plus grande échelle ? Sans pouvoir le savoir, Magalie Ochs rappelle cependant qu’au niveau des utilisateurs ou utilisatrices, il faut « conscientiser ces biais ». « On peut formuler des requêtes en demandant à ne pas avoir de différences entre hommes et femmes, de ne pas faire de différences entre des groupes, des nationalités. Ça permet d’avoir des réponses moins stéréotypées. »