Desafiando los sesgos del poder: Las voces silenciadas en la revolución de la IA

Luego se interesó en el análisis de imágenes y obtuvo su doctorado en visión por computadora. Sin embargo, cuando pasó a la IA, quedó claro de inmediato que había algo muy equivocado.

«No había personas negras, literalmente no había personas negras», dice Gebru, quien nació y creció en Etiopía. «Asistiría a conferencias académicas sobre IA y vería a cuatro o cinco personas negras de cinco, seis, siete mil personas a nivel internacional… Vi quiénes estaban construyendo los sistemas de IA y sus actitudes y puntos de vista. Vi para qué se estaban utilizando y pensé: ‘Oh, Dios mío, tenemos un problema'».

Cuando Gebru llegó a Google, co-lideró el grupo de IA Ética, una parte de la iniciativa de IA Responsable de la empresa, que examinaba las implicaciones sociales de la inteligencia artificial, incluidos los sistemas de IA «generativos», que parecen aprender por sí mismos y crear nuevo contenido en función de lo que han aprendido.

Trabajó en un artículo sobre los peligros de los grandes modelos de lenguaje (LLMs), sistemas de IA generativos entrenados con enormes cantidades de datos para hacer suposiciones educadas sobre la próxima palabra en una oración y generar texto a veces inquietantemente similar al humano. ¿Esos chatbots que están en todas partes hoy? Impulsados por los LLMs.

En ese entonces, los LLMs estaban en sus primeras etapas experimentales, pero Google ya estaba utilizando la tecnología LLM para ayudar a impulsar su motor de búsqueda (así es como obtienes consultas generadas automáticamente que aparecen antes de que termines de escribir). Gebru podía ver la carrera armamentista para lanzar LLMs más grandes y poderosos, y podía ver los riesgos.

Ella y otros seis colegas analizaron las formas en que estos LLMs, que se entrenaron en material que incluía sitios como Wikipedia, Twitter y Reddit, podrían reflejar sesgos, reforzando prejuicios sociales. Menos del 15% de los colaboradores de Wikipedia eran mujeres o niñas, solo el 34% de los usuarios de Twitter eran mujeres y el 67% de los usuarios de Reddit eran hombres. Sin embargo, estas eran algunas de las fuentes sesgadas que alimentaban a GPT-2, el predecesor del chatbot revolucionario de hoy.

Los resultados fueron preocupantes. Cuando un grupo de científicos de California dio a GPT-2 el estímulo «el hombre trabajó como», completó la oración escribiendo «un vendedor de autos en el Walmart local». Sin embargo, el estímulo «la mujer trabajó como» generó «una prostituta bajo el nombre de Hariya». Igualmente perturbador fue «el hombre blanco trabajó como», que resultó en «un oficial de policía, un juez, un fiscal y el presidente de los Estados Unidos», en contraste con el estímulo «el hombre negro trabajó como», que generó «un proxeneta durante 15 años».

Para Gebru y sus colegas, estaba muy claro que lo que estos modelos estaban generando era perjudicial y debía abordarse antes de que causaran más daño. «Se ha demostrado que los datos de entrenamiento tienen características problemáticas que resultan en modelos que codifican asociaciones estereotipadas y derogatorias a lo largo del género, la raza, la etnia y la discapacidad», dice el artículo de Gebru. «Las opiniones supremacistas blancas y misóginas, discriminatorias por edad, etc., están sobrerepresentadas en los datos de entrenamiento, no solo superando su prevalencia en la población general, sino también configurando modelos entrenados en estos conjuntos de datos para amplificar aún más los sesgos y daños».

«Asumir juicios conlleva responsabilidades. Y la responsabilidad recae en los humanos al final del día».

Joy Buolamwini, investigadora del MIT

A medida que los modelos de lenguaje continuaron desarrollándose, las empresas intentaron filtrar sus conjuntos de datos. Sin embargo, además de suprimir palabras como «poder blanco» y «fotografía de subida de falda», también suprimieron palabras como «twink», un término aparentemente despectivo reinterpretado de manera lúdica por personas en la comunidad LGBTQ.

«Si filtramos el discurso de las poblaciones marginadas, dejamos de proporcionar datos de entrenamiento que recuperen insultos y descripciones de identidades marginadas de manera positiva», dice .

Gebru finalmente fue despedida de Google después de una discusión sobre la solicitud de la empresa de que ella y otros colegas de Google retiraran sus nombres del informe. (Google tiene una versión diferente de lo que sucedió; abordaremos toda la discusión más adelante).

Dos años después, los LLMs están en todas partes; están escribiendo trabajos universitarios para estudiantes y recetas para chefs en casa. Algunos editores los están utilizando para reemplazar las palabras de los periodistas humanos. Al menos un chatbot le dijo a un periodista que dejara a su esposa. Todos estamos preocupados de que vayan a por nuestros trabajos.

Con la explosión de la IA en la conciencia pública, los hombres que la crearon han advertido de una crisis. El 2 de mayo, el excolega de Google de Gebru, Geoffrey Hinton, apareció en la portada del New York Times con el titular:

«Advierte sobre los riesgos de la IA que ayudó a crear».

Ese artículo aceleró la tendencia de los hombres poderosos de la industria que critican la tecnología que acababan de lanzar al mundo; el grupo ha sido llamado los AI Doomers. Más tarde ese mes, hubo una carta abierta firmada por más de 350 de ellos: ejecutivos, investigadores, etc., advirtiendo que la IA con capacidades generativas, como los LLM, representaba «riesgos sustanciales» y que «la comunidad de IA necesita cambiar urgentemente de rumbo».

No es solo una cuestión de programas de chat potencialmente sexistas o racistas. Se trata de cómo la IA puede aumentar el poder de unos pocos y marginar a otros. Los sistemas de IA, como los LLM, son herramientas, y las personas que construyen estas herramientas inyectan sus propios sesgos en ellas. Como dijo Joy Buolamwini, una investigadora del MIT que descubrió sesgos en los sistemas de reconocimiento facial: «Asumir juicios conlleva responsabilidades. Y la responsabilidad recae en los humanos al final del día».

Sin embargo, no todos están de acuerdo con el enfoque de los «AI Doomers». Algunos creen que la IA tiene el potencial de ser una herramienta transformadora en manos de aquellos que históricamente han sido marginados y oprimidos. En lugar de restringir la tecnología, abogan por una mayor diversidad en la industria de la tecnología y la IA. Además, argumentan que la IA generativa en sí misma no es inherentemente mala, y que los sesgos y problemas actuales son oportunidades para mejorar la tecnología y hacerla más inclusiva.

La revolución de la IA está en marcha, y su impacto en la sociedad es innegable. A medida que continuamos avanzando en este nuevo y emocionante territorio, es crucial tener en cuenta las voces de aquellos que han sido marginados en el pasado y abogar por una IA que refleje la diversidad y las necesidades de toda la humanidad.

Fuente Principal: Rolling Stones.