Inteligencia artificial y discriminación: une pregunta esencial

Todos hemos oído hablar de los algoritmos sexistas o racistas. Se conocen numerosos ejemplos, como Tay, el motor conversacional lanzado por Microsoft en Twitter, que se volvió racista al contacto de internautas trolls en Twitter, o incluso el algoritmo de Google Fotos que asigna la etiqueta «Gorila» a unas personas negras en una foto. Un último ejemplo es un algoritmo de clasificación de currículos de Amazon que discriminaba a las candidatas. 

Todos esos ejemplos pueden llevarnos a plantearnos la siguiente pregunta: ¿son realmente racistas los algoritmos? Para responder, primero necesitamos comprender su funcionamiento.

Figura 1 – Fragmento de la cuenta de Twitter Tay, un agente conversacional de Microsoft. El agente conversacional aprende de las interacciones que tiene con los usuarios. Hablando de temas racistas con el agente, aprendió y pasó de ser un agente conversacional que ama a los seres humanos a ser un agente conversacional racista y rencoroso.

¿El funcionamiento de los algoritmos de IA? 

Los algoritmos de Inteligencia Artificial, cuya rama principal es el aprendizaje automático (o Machine Learning), se conocen por sus capacidades de aprendizaje. Si son posibles diferentes tipos de aprendizaje, el más clásico es el aprendizaje supervisado y, particularmente, la tarea de clasificación. El algoritmo aprende, gracias a grandes cantidades de datos clasificados, las características que definen cada una de las categorías de datos. Por ejemplo, un algoritmo de clasificación de imagen puede ser entrenado para clasificar imágenes de perros y gatos. Para eso, habrá que proporcionarle muchas imágenes de perros, con la etiqueta «perro», y muchas imágenes de gatos con la etiqueta «gato». El algoritmo determinará entonces las características propias a las imágenes de perros y otras propias a las imágenes de gatos. En términos matemáticos, el algoritmo va a determinar una función que le permite «predecir», para cada dato proporcionado, una etiqueta que asociar a este dato. 

Este tipo de aprendizaje es muy eficaz, pero también tiene muchas limitaciones, en particular, problemas de generalización. Un algoritmo entrenado para reconocer perros y gatos no sabrá reconocer zorros. Del mismo modo, si fue entrenado en imágenes solo con perros de frente, no será necesariamente eficaz para imágenes con perros de espalda. 

Así, para que un algoritmo sea eficaz, hay que conseguir constituir un juego de datos representativos, es decir, que contengan el conjunto de categorías que tendrá que predecir luego, con un número suficiente de ejemplos de cada una de esas categorías, de manera que pueda aprender correctamente a clasificarlas. 

Figura 2 – El algoritmo de clasificación de imágenes usado por Google Fotos, que afecta a la etiqueta «Gorila» en una foto que muestra personas negras.

¿Como una IA puede discriminar? 

Los algoritmos de IA automatizan los procesos, normalmente efectuados por los humanos, usando juegos de datos que describen estos procesos. Los datos de entrenamiento constituyen la principal fuente de reproducción de discriminaciones visibles en los comportamientos humanos. 

La infrarrepresentación de una categoría de la población engendra un desequilibrio en el aprendizaje. Un algoritmo entrenado para diferenciar fotos de hombres no será eficaz para diferenciar fotos de mujeres. Las características que se tienen en cuenta para la predicción pueden variar de un género al otro. Tomemos el ejemplo de las interrupciones de ingresos relacionadas con los embarazos para las mujeres, en el marco del estudio de concesión de créditos. Si el algoritmo solo fue entrenado en una población masculina, le puede parecer sospechosa esta interrupción y rechazar los expedientes femeninos. A veces, el desequilibrio de la representación de géneros en los datos encuentran una explicación social. En los casos de los créditos financieros, las solicitudes de créditos de mujeres son más recientes, lo que limita los datos disponibles. Este desequilibrio también se atribuye a la sobrerrepresentación de hombres (78%) en la concepción de sistemas de IA. Entonces, la percepción de la norma y de la representatividad de los datos están distorsionadas. 

Por otra parte, los algoritmos pueden reproducir estereotipos presentes en los datos, y más concretamente, en su etiquetado. Un algoritmo de automatización de reclutamiento desarrollado por Amazon, por ejemplo, había aprendido a favorecer las candidaturas masculinas: al imitar los anteriores reclutamientos, el algoritmo penalizaba la presencia de la palabra «woman» en los currículos, ya que la plantilla de Amazon estaba compuesta, mayoritariamente, de hombres.  

Por lo tanto, el algoritmo de IA no es propiamente discriminatorio, puesto que matemáticamente hablando, nada está hecho para que se saquen unas conclusiones discriminatorias en particular. Sin embargo, una vez entrenado en un juego de datos que contiene distorsiones discriminatorias, el algoritmo de IA va a perpetuar las discriminaciones transmitidas en los datos: ya sea por su proporción, o por sus etiquetas. Las discriminaciones presentes en los datos reflejan las discriminaciones societales observables durante la creación del juego de datos. Así, el algoritmo no entrenado no es discriminatorio, sin embargo, su versión entrenada en un juego de datos distorsionados sí, lo es. 

¿Cuáles son las soluciones para evitar esos problemas? 

La constitución de juegos de datos de entrenamiento es un elemento que va a determinar si la solución será discriminatoria. Para garantizar la representatividad de los datos, parece necesario incluir a las personas discriminadas en los procesos de decisión y de concepción. Esto presenta varios intereses. En primer lugar, incluir a las minorías y a las personas discriminadas en los procesos de decisión permite contemplar los problemas que afectan a esas minorías que no necesariamente vendrían a la mente de las personas no afectadas. Del mismo modo, algunas de las distorsiones presentes en los datos pueden parecer evidentes para las poblaciones afectadas por aquellas. Por tanto, es importante recordar que la inteligencia artificial constituye una herramienta que sirve para mejorar la vida de sus usuarios. Así, es obvio que con la creciente parte que ocupa esta herramienta en nuestras vidas, es necesario incluir a un panel representativo de la población en su concepción. 

Los estereotipos presentes en los datos - en particular en las etiquetas - pueden detectarse al trabajar en la transparencia de los métodos usados. Los métodos de IA, y, especialmente, las redes de neuronas, tienen fama de ser «cajas negras» cuyos criterios de decisión no son explícitos. En efecto, no hay una manera clara de acceder a las razones que les llevan a tomar una u otra decisión. Así, numerosos trabajos recientes se interesan por la interpretabilidad de esos modelos. Eso podría permitir detectar las tomas de decisiones basadas en criterios discriminatorios (sexo, origen,...).  

Por último, conviene evitar lo que Meredith Brousard llama el tecnochovinismo: la creencia de que las soluciones tecnológicas, particularmente de IA, son mejores que sus equivalentes no automatizados o no tecnológicos, cualquiera que sea el contexto. Por una parte, el algoritmo de IA no puede desprenderse solo de los estereotipos de sus diseñadores, y proponer una solución objetiva y neutra. El algoritmo tan solo automatiza un comportamiento complejo. Por otra parte, cuando este comportamiento complejo se distorsiona, discriminatorio y estereotipado, ¿es verdaderamente  deseable usar las tecnologías de IA para automatizarlo? Los algoritmos de IA empiezan a ser utilizados en áreas con grandes influencias en nuestras vidas, como el reconocimiento facial, el reclutamiento, y aún más preocupante, el armamento. Estas áreas pueden, evidentemente, tener una incidencia directa en la vida de las personas afectadas. ¿Es realmente deseable automatizar este tipo de decisiones? 

Fuentes :

1 - https://www.youtube.com/watch?v=cgpye788P9Q

2 - https://www.lemonde.fr/pixels/article/2016/03/24/a-peine-lancee-une-intelligence-artificielle-de-microsoft-derape-sur-twitter_4889661_4408996.html

3 - https://www.phonandroid.com/google-photos-confond-plus-personnes-noires-gorilles-mais.html

4 - https://www.numerama.com/tech/426774-amazon-a-du-desactiver-une-ia-qui-discriminait-les-candidatures-de-femmes-a-lembauche.html

5 - https://www.oliverwyman.com/our-expertise/insights/2020/mar/gender-bias-in-artificial-intelligence.html

6 - https://www.theguardian.com/technology/2018/oct/10/amazon-hiring-ai-gender-bias-recruiting-engine

7 - https://theconversation.com/artificial-intelligence-has-a-gender-bias-problem-just-ask-siri-123937

8 - https://hbr.org/2019/11/4-ways-to-address-gender-bias-in-ai