Intelligence artificielle et discrimination : une question essentielle

Nous avons tous entendu parler des algorithmes sexistes ou racistes. De nombreux exemples sont connus, comme Tay, le moteur conversationnel lancé par Microsoft sur Twitter, devenu raciste au contact des internautes trolls sur Twitter, ou encore de l’algorithme de Google Photo qui assigne le label « Gorille » à des personnes noires sur une photo. Un dernier exemple est un algorithme de tri de curriculum vitae d’Amazon qui discriminait les candidates.

Tous ces exemples peuvent nous amener à nous poser la question suivante : les algorithmes sont-ils vraiment racistes ? Pour répondre, il nous faut d’abord comprendre leur fonctionnement.

Figure 1 – Extraits du compte Twitter Tay, un agent conversationnel de Microsoft. L’agent conversationnel apprend des interactions qu’il a avec les utilisateurs. En parlant de sujets racistes avec l’agent, il a appris et est passé d’un agent conversationnel qui aime les humains à un agent conversationnel raciste et haineux.

Le fonctionnement des algorithmes d'IA

Les algorithmes d’Intelligence Artificielle, dont la branche principale est l’apprentissage automatique (ou Machine Learning) sont connus pour leurs capacités à apprendre. Si différents types d’apprentissages sont possibles, le plus classique est l’apprentissage supervisé et notamment la tâche de classification. L’algorithme apprend, grâce à de grandes quantités de données catégorisées, les caractéristiques qui définissent chacune des catégories de données. Par exemple, un algorithme de classification d’image peut être entraîné à catégoriser des images de chiens et de chats. Pour cela, il faudra lui fournir de nombreuses images de chiens, en leur associant le label « chien », et de nombreuses images de chats avec le label  « chat ». L’algorithme déterminera alors des caractéristiques propres aux images de chiens et d’autres propres aux images de chats. En termes mathématiques, l’algorithme va déterminer une fonction lui permettant de « prédire », pour chaque donnée fournie, un label à associer à cette donnée.

Ce type d’apprentissage est très performant mais a de nombreuses limitations, notamment des problèmes de généralisation. Un algorithme entraîné à reconnaître des chiens et des chats ne saura pas reconnaître des renards. De même, s’il a été entraîné sur des images avec uniquement des chiens de face, il ne sera pas forcément performant pour des images avec des chiens de dos.

Ainsi, pour qu’un algorithme soit performant, il faut réussir à constituer un jeu de données représentatif, c’est-à-dire qui contient l’ensemble des catégories qu’il va falloir prédire par la suite, avec un nombre suffisant d’exemples de chacune de ces catégories, de manière à ce qu’il puisse apprendre correctement à les caractériser.

Figure 2 – L’algorithme de classification d’images utilisé par Google Photo, qui affecte le label « Gorilles » à une photo montrant des personnes noires.

Comment une IA peut-elle discriminer ?

Les algorithmes d’IA automatisent des processus habituellement effectués par les humains en utilisant des jeux de données décrivant ces processus. Les données d’entraînement constituent la principale source de reproduction de discriminations visibles dans les comportements humains.

La sous-représentation d’une catégorie de la population entraîne un déséquilibre dans l’apprentissage. Un algorithme entraîné à différencier des photos d’hommes ne sera pas performant pour différencier des photos de femmes. Les caractéristiques prises en compte pour la prédiction peuvent varier d’un genre à l’autre. Prenons l’exemple des interruptions de revenus liées aux grossesses chez les femmes, dans le cadre de l’étude d’octroi de crédit. Si l’algorithme n’est entraîné que sur une population masculine, il peut trouver cette interruption suspecte et rejeter les dossiers féminins. Le déséquilibre de la représentation des genres dans les données trouve parfois une explication sociale. Dans le cas des crédits financiers, les demandes de crédit de femmes sont plus récents, ce qui limite les données disponibles. Ce déséquilibre est également attribué à la sur-représentation des hommes (78%) dans la conception des systèmes d’IA. La perception de la norme et de la représentativité des données sont donc biaisées.

Par ailleurs, les algorithmes peuvent reproduire des stéréotypes présents dans les données, et plus particulièrement dans leur labellisation. Un algorithme d’automatisation de recrutement développé par Amazon avait par exemple appris à favoriser les candidatures masculines : en imitant les anciens recrutements, l’algorithme pénalisait la présence du mot « woman » dans les CV, puisque les effectifs d’Amazon étaient majoritairement composés d’hommes.

L’algorithme d’IA n’est donc pas à proprement discriminant, puisque mathématiquement parlant, rien n’est fait pour que des conclusions discriminantes en particulier soient tirées. Cependant, une fois entraîné sur un jeu de données contenant des biais discriminants, l’algorithme d’IA va perpétuer les discriminations véhiculées dans les données : soit par leur proportion, soit par leur labels. Les discriminations présentes dans les données traduisent les discriminations sociétales observables lors de la création du jeu de données. Ainsi, l’algorithme non entraîné n’est pas discriminant, cependant sa version entraînée sur un jeu de données biaisées l’est.

Quelles sont les solutions pour éviter ces problèmes ?

La constitution des jeux de données d’entraînement est l’élément qui va déterminer si la solution sera discriminante. Pour assurer la représentativité des données, il semble nécessaire d’inclure les personnes discriminées dans les processus de décision et de conception. Cela présente plusieurs intérêts. Tout d’abord, inclure des minorités et personnes discriminées dans les processus de décisions permet d’envisager de traiter des problèmes concernant ces minorités qui ne viendraient pas forcément à l’idée de personnes non concernées. De même, certains biais présents dans les données peuvent apparaître évidents pour les populations concernées par ceux-ci. Il est important aussi de se rappeler que l’intelligence artificielle constitue un outil qui sert à améliorer la vie de ses utilisateurs. Il est ainsi évident qu’avec la part croissante que cet outil occupe dans nos vies, il est nécessaire d’inclure un panel représentatif de la population dans sa conception.

Les stéréotypes présents dans les données – notamment dans les labels – peuvent être détectés en travaillant sur la transparence des méthodes utilisées. Les méthodes d’IA, et en particulier les réseaux de neurones, sont réputés pour être des « boîtes noires » dont les critères de décision ne sont pas explicites. En effet, il n’y a pas de moyen clair d’accéder aux raisons qui les amènent à prendre une décision ou une autre. Ainsi, de nombreux travaux récents s’intéressent à l’interprétabilité de ces modèles. Ceci pourrait permettre de détecter des prises de décisions basées sur des critères discriminants (sexe, origine…).

Enfin, il convient d’éviter ce que Meredith Broussard nomme le techno-chauvinisme : la croyance que les solutions technologiques, notamment d’IA, sont meilleures que leurs équivalents non-automatisés ou non technologiques, quel que soit le contexte. D’une part, l’algorithme d’IA ne peut pas s’extraire seul des stéréotypes de ses concepteurs, et proposer une solution objective et neutre. L’algorithme ne fait qu’automatiser un comportement complexe. D’autre part, lorsque ce comportement complexe est biaisé, discriminant et stéréotypé, est-ce vraiment souhaitable d’utiliser les technologies de l’IA pour l’automatiser ? Les algorithmes d’IA commencent à être utilisés dans des domaines ayant de fortes influences sur nos vies, comme la reconnaissance faciale, le recrutement, et encore plus inquiétant l’armement. Ces domaines peuvent évidemment avoir une incidence directe sur la vie des personnes qui sont concernées. Est-il vraiment souhaitable d’automatiser ce types de décisions ?

Sources:

1 - https://www.youtube.com/watch?v=cgpye788P9Q

2 - https://www.lemonde.fr/pixels/article/2016/03/24/a-peine-lancee-une-intelligence-artificielle-de-microsoft-derape-sur-twitter_4889661_4408996.html

3 - https://www.phonandroid.com/google-photos-confond-plus-personnes-noires-gorilles-mais.html

4 - https://www.numerama.com/tech/426774-amazon-a-du-desactiver-une-ia-qui-discriminait-les-candidatures-de-femmes-a-lembauche.html

5 - https://www.oliverwyman.com/our-expertise/insights/2020/mar/gender-bias-in-artificial-intelligence.html

6 - https://www.theguardian.com/technology/2018/oct/10/amazon-hiring-ai-gender-bias-recruiting-engine

7 - https://theconversation.com/artificial-intelligence-has-a-gender-bias-problem-just-ask-siri-123937

8 - https://hbr.org/2019/11/4-ways-to-address-gender-bias-in-ai