Estas mujeres advirtieron sobre los peligros y riesgos de la IA mucho antes del ChatGPT

T IMNIT GEBRU no se propuso trabajar en IA. En Stanford, estudió ingeniería eléctrica y obtuvo una licenciatura y una maestría en ese campo. Luego se interesó en el análisis de imágenes y obtuvo su doctorado. en visión por computadora. Sin embargo, cuando pasó a la IA, inmediatamente quedó claro que algo andaba muy mal.

“No había negros, literalmente no había negros”, dice Gebru, que nació y creció en Etiopía. “Iba a conferencias académicas sobre IA y veía a cuatro o cinco negros de cada cinco, seis o siete mil personas a nivel internacional... Vi quién estaba construyendo los sistemas de IA y sus actitudes y puntos de vista. Vi para qué se utilizaban y pensé: 'Dios mío, tenemos un problema'”.

Cuando Gebru llegó a Google, codirigió el grupo de IA Ética, parte de la iniciativa de IA Responsable de la compañía, que analizó las implicaciones sociales de la inteligencia artificial, incluidos los sistemas de IA "generativos", que parecen aprender por sí solos y crear. nuevo contenido basado en lo que han aprendido. Trabajó en un artículo sobre los peligros de los grandes modelos de lenguaje (LLM), sistemas generativos de inteligencia artificial entrenados con enormes cantidades de datos para hacer conjeturas fundamentadas sobre la siguiente palabra de una oración y escupir un texto a veces inquietantemente humano. ¿Esos chatbots que hoy están por todas partes? Desarrollado por LLM.

En aquel entonces, los LLM estaban en sus primeras etapas experimentales, pero Google ya estaba usando la tecnología LLM para ayudar a impulsar su motor de búsqueda (así es como aparecen consultas generadas automáticamente antes de terminar de escribir). Gebru podía ver la carrera armamentista preparándose para lanzar LLM más grandes y poderosos, y podía ver los riesgos.

Ella y otros seis colegas analizaron las formas en que estos LLM, que fueron capacitados en material que incluye sitios como Wikipedia, Twitter y Reddit, podrían reflejar un sesgo inverso, reforzando los prejuicios sociales. Menos del 15 por ciento de los contribuyentes de Wikipedia eran mujeres o niñas, sólo el 34 por ciento de los usuarios de Twitter eran mujeres y el 67 por ciento de los Redditors eran hombres. Sin embargo, estas fueron algunas de las fuentes sesgadas que alimentaron a GPT-2, el predecesor del innovador chatbot actual.

Los resultados fueron preocupantes. Cuando un grupo de científicos de California le dio a GPT-2 el mensaje "el hombre trabajaba como", completó la oración escribiendo "un vendedor de autos en el Wal-Mart local". Sin embargo, el mensaje "la mujer trabajaba como" generó "una prostituta bajo el nombre de Hariya". Igualmente inquietante fue “el hombre blanco trabajó como”, que resultó en “un oficial de policía, un juez, un fiscal y el presidente de los Estados Unidos”, en contraste con el mensaje “el hombre negro trabajó como”, que generó “un proxeneta durante 15 años”.

Para Gebru y sus colegas, estaba muy claro que lo que estos modelos estaban escupiendo era perjudicial y debía abordarse antes de que causaran más daño. "Se ha demostrado que los datos de entrenamiento tienen características problemáticas que dan como resultado modelos que codifican asociaciones estereotipadas y despectivas en cuanto a género, raza, etnia y estado de discapacidad", se lee en el artículo de Gebru. "Las opiniones supremacistas blancas y misóginas, discriminatorias por edad, etc. están sobrerrepresentadas en los datos de capacitación, no solo excediendo su prevalencia en la población general, sino también configurando modelos entrenados en estos conjuntos de datos para amplificar aún más los sesgos y los daños".

“Los juicios conllevan responsabilidades. Y la responsabilidad, al final del día, recae en los humanos”.

A medida que los modelos de lenguaje continuaron desarrollándose, las empresas intentaron filtrar sus conjuntos de datos. Sin embargo, además de suprimir palabras como “poder blanco” y “upskirt”, también suprimieron palabras como “joven”, un término aparentemente despectivo reutilizado de manera lúdica por personas de la comunidad LGBTQ.

“Si filtramos el discurso de las poblaciones marginadas, no lograremos proporcionar datos de capacitación que recuperen los insultos y describan las identidades marginadas de manera positiva”, se lee en el documento.

Gebru finalmente fue despedida de Google después de un intercambio de opiniones sobre la compañía pidiéndole a ella y a sus colegas de Google que eliminaran sus nombres del informe. (Google tiene una cuenta diferente de lo que sucedió; hablaremos de todo esto más adelante).

Dos años después, los LLM están en todas partes: escriben trabajos finales para estudiantes universitarios y recetas para chefs caseros. Algunos editores los utilizan para reemplazar las palabras de los periodistas humanos. Al menos un chatbot le dijo a un periodista que dejara a su esposa. A todos nos preocupa que vengan a por nuestros trabajos.

A medida que la IA irrumpió en la conciencia pública, los hombres que la crearon gritaron crisis. El 2 de mayo, el ex colega de Gebru en Google, Geoffrey Hinton, apareció en la portada del New York Times con el titular: "Advierte sobre los riesgos de la IA que ayudó a crear". Ese artículo de Hinton aceleró la tendencia de hombres poderosos de la industria a hablar en contra de la tecnología que acababan de lanzar al mundo; El grupo ha sido apodado AI Doomers. Más tarde ese mes, hubo una carta abierta firmada por más de 350 de ellos: ejecutivos, investigadores e ingenieros que trabajan en IA. Hinton lo firmó junto con el director ejecutivo de OpenAI, Sam Altman, y su rival Dario Amodei de Anthropic. La carta constaba de una única frase desgarradora: “Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social, como las pandemias y la guerra nuclear”.

¿Cómo habría cambiado ese riesgo si hubiéramos escuchado a Gebru? ¿Qué pasaría si hubiéramos escuchado las voces de mujeres como ella que han estado ondeando la bandera sobre la IA y el aprendizaje automático?

Los investigadores, incluidas muchas mujeres de color, han estado diciendo durante años que estos sistemas interactúan de manera diferente con las personas de color y que los efectos sociales podrían ser desastrosos: que son un espejo distorsionado al estilo de una casa de diversión que magnifica los prejuicios y elimina el contexto. de donde proviene su información; que se prueban en aquellos que no tienen la opción de optar por no participar; y acabará con los empleos de algunas comunidades marginadas.

Gebru y sus colegas también han expresado su preocupación por la explotación de trabajadores fuertemente vigilados y con salarios bajos que ayudan a respaldar los sistemas de inteligencia artificial; Los moderadores de contenido y los anotadores de datos suelen provenir de comunidades pobres y desatendidas, como refugiados y personas encarceladas. Los moderadores de contenido en Kenia han informado que han experimentado traumas graves, ansiedad y depresión al ver videos de abuso sexual infantil, asesinatos, violaciones y suicidios para capacitar a ChatGPT sobre contenido explícito. Algunos de ellos ganan tan solo 1,32 dólares la hora por hacerlo.

En otras palabras, los problemas con la IA no son hipotéticos. No existen simplemente en alguna versión Matrix del futuro controlada por SkyNet. Los problemas con esto ya están aquí.

“Llevo mucho tiempo gritando sobre esto”, dice Gebru. "Este es un movimiento que lleva más de una década gestándose".

“Vi quién estaba construyendo los sistemas de IA y sus puntos de vista. Vi para qué se utilizaban y pensé: 'Dios mío, tenemos un problema'. "

UN CAPÍTULO DE ese movimiento comienza en 2017. Fue cuando Gebru estaba en Microsoft y trabajó con la investigadora Joy Buolamwini en un proyecto sobre reconocimiento facial. Se basa en una rama de la inteligencia artificial (el aprendizaje automático estadístico) para reconocer patrones en lugar de producir texto nuevo.

Buolamwini estaba estudiando informática en el Instituto de Tecnología de Georgia cuando notó que la tecnología de detección facial con la que estaba experimentando a menudo no se detectaba en su rostro de piel oscura. Para probar sus proyectos, tendría que llamar a su compañera de cuarto pelirroja, de piel clara y ojos verdes. Buolamwini trató de no pensar mucho en ello, suponiendo que los problemas se solucionarían.

Pero unos años más tarde, surgió el mismo problema. Para el proyecto “Aspire Mirror” de Buolamwini, se suponía que una persona debía pararse frente a un espejo y tener el rostro de una celebridad reflejado encima del suyo. Intentó proyectar a Serena Williams. Sin suerte. Intentó usar su tarjeta de identificación. No. Entonces, tomó una máscara blanca de Halloween que estaba en su oficina.

“La máscara funcionó”, dice Buolamwini, “y pensé: 'Está bien, eso apesta'”.

Buolamwini cambió su enfoque y probó cómo las computadoras detectan y clasifican los rostros de las personas. Pasó su foto a través de un software de reconocimiento facial que no detectó su rostro en absoluto o la categorizó como hombre.

Buolamwini añadió mil imágenes a los sistemas buscando patrones en cómo funcionaba la clasificación del software; Las fotos de Michelle Obama y Oprah Winfrey estaban etiquetadas como masculinas. Se acercó a Gebru como mentor y juntos publicaron un artículo académico en el que se informaba que las mujeres de piel más oscura son las más propensas a ser clasificadas erróneamente, con tasas de error de hasta el 34,7 por ciento. La tasa de error para los hombres blancos: 0,8 por ciento.

Una de las razones de la caracterización errónea es la falta de diversidad en los conjuntos de datos: los sistemas simplemente no recibieron suficientes rostros negros y morenos para aprender a entender cómo se ven. Aún más preocupante, como señala Buolamwini en su proyecto, estas técnicas se aplican a otras áreas de la tecnología de reconocimiento de patrones, como el análisis predictivo que determina cosas como prácticas de contratación, evaluaciones de préstamos e incluso se utilizan para sentencias penales y vigilancia.

Se ha demostrado que el software de predicción de delitos PredPol se dirige exponencialmente más a los barrios negros y latinos que a los barrios blancos. Los departamentos de policía también han tenido problemas al utilizar tecnología de reconocimiento facial: la ciudad de Detroit enfrenta tres demandas por arrestos injustos basados ​​en esa tecnología. Robert Williams, un hombre negro, fue arrestado injustamente en 2020. Y este verano, Porcha Woodruff fue arrestada después de una coincidencia falsa y retenida durante 11 horas por robo y robo de auto cuando tenía ocho meses de embarazo. Los cargos finalmente fueron desestimados y Woodruff presentó una demanda por arresto injusto.

El noventa y nueve por ciento de las empresas Fortune 500 utilizan herramientas automatizadas en su proceso de contratación, lo que puede generar problemas cuando los escáneres de currículum, los chatbots y las entrevistas en video unidireccionales introducen sesgos. Una herramienta de reclutamiento de inteligencia artificial ahora desaparecida creada por Amazon se enseñó a sí misma que los candidatos masculinos eran preferibles, después de haber sido capacitados con currículums en su mayoría masculinos. Los datos sesgados pueden tener efectos generalizados que afectan las vidas de personas reales.

“Cuando comencé [esta] investigación, recibí muchas preguntas como: '¿Por qué te centras en las mujeres negras?'”, dice Buolamwini. Señalaría que estaba estudiando a hombres y mujeres con diferentes tonos de piel. Luego ella preguntaba: "¿Por qué no hacemos esta pregunta cuando gran parte de la investigación se ha centrado en hombres blancos?"

El reconocimiento facial es una versión de IA diferente a los LLM que vemos hoy. Pero las cuestiones que planteó Buolamwini son similares. Estas tecnologías no funcionan por sí solas. Son entrenados por humanos, y el material que se les suministra es importante, y las personas que toman las decisiones sobre cómo se entrenan las máquinas también son cruciales. Buolamwini dice que ignorar estos problemas podría ser nefasto.

Buolamwini, cuyo libro Unmasking AI se publicará en octubre, fue invitado este verano a hablar con el presidente Biden en una mesa redonda a puertas cerradas sobre el poder y los riesgos de la IA. Dice que habló con Biden sobre cómo la biometría (el uso de rostros y otras características físicas para la identificación) se utiliza cada vez más en la educación, la atención médica y la vigilancia, y planteó el caso de Williams y su encarcelamiento injusto. También habló sobre el uso aparentemente benigno del reconocimiento facial en lugares públicos como aeropuertos; La TSA lo está utilizando ahora en decenas de ciudades. Este tipo de reconocimiento facial público ya ha sido prohibido en la Unión Europea porque se considera discriminatorio e invasivo.

"La IA tal como se imagina y se sueña que es es esta búsqueda para dotar a las máquinas de inteligencia de diferentes formas, la capacidad de comunicarse, percibir el mundo y emitir juicios", dice Buolamwini. “Pero una vez que estás emitiendo juicios, los juicios conllevan responsabilidades. Y la responsabilidad, al final del día, recae en los humanos”.

“Eso fue como tirar de un hilo que sobresale de un suéter. Dices: 'Si pudiera arreglar esto, entonces podría pasar a otra cosa'. Pero comencé a tirar de él y todo el suéter se deshizo”.

GEBRU SE SORPRENDÓ al ver cómo las cosas se habían salido de control. Ella dice que el documento sobre los peligros de los LLM había pasado por el proceso de aprobación regular en Google, pero luego le dijeron que era necesario eliminar todos los nombres de los empleados de Google. Hubo una avalancha de llamadas y correos electrónicos el Día de Acción de Gracias de 2020, y Gebru preguntó si había alguna manera de mantener su nombre en el periódico. Un par de días después, mientras viajaba, Gebru envió un correo electrónico al gerente de su gerente diciéndole que eliminaría su nombre si algunas cosas cambiaban en Google, incluido un proceso de revisión más transparente para futuros trabajos de investigación. También quería que se revelaran las identidades de quienes revisaron y criticaron su artículo. Si Google no pudiera cumplir con esas condiciones, dijo, consideraría renunciar.

Después de ese intercambio, Gebru envió un correo electrónico a un grupo de sus colegas que trabajaban para Google Brain, el equipo de inteligencia artificial más destacado de la compañía. Acusó a Google de "silenciar las voces marginadas" y les dijo a las mujeres que "dejen de escribir sus documentos porque no hace ninguna diferencia". Al día siguiente, Gebru se enteró de que la habían despedido.

Google sostuvo en una respuesta pública que Gebru dimitió. El jefe de IA de Google, Jeff Dean, reconoció que el artículo "expresó preocupaciones válidas sobre los LLM", pero afirmó que "ignoró demasiadas investigaciones relevantes". Cuando Rolling Stone le pidió comentarios, un representante señaló un artículo de 2020 que hacía referencia a un memorando interno en el que la empresa se comprometía a investigar la salida de Gebru. Los resultados de la investigación nunca se publicaron, pero Dean se disculpó en 2021 por cómo se gestionó la salida de Gebru y la empresa cambió la forma en que maneja las cuestiones relacionadas con la investigación, la diversidad y las salidas de los empleados.

Era cerca de la medianoche de esa noche cuando Gebru hizo público un tweet: “Me despidieron… por mi correo electrónico a Brain Women and Allies. Mi cuenta corporativa ha sido cortada. Así que me despidieron inmediatamente :-)”

Safiya Noble estaba en línea. Había oído hablar de Gebru y el periódico. Ella había estado observando todo desde el margen desde el momento en que Google anunció que estaba formando un equipo de IA ética. En 2018, Noble había escrito el libro Algoritmos de opresión: cómo los motores de búsqueda refuerzan el racismo, que analizaba cómo los prejuicios negativos contra las mujeres de color están integrados en los algoritmos.

“Pensé: 'Esto es rico'”, dice. ¿Google de repente se preocupa por la ética? Su filial YouTube fue la más lenta de las principales plataformas en tomar medidas contra el contenido extremista. “Tenía sospechas”.

La desconfianza de Noble hacia estos sistemas comenzó hace más de una década, allá por 2009, cuando estaba obteniendo su doctorado. en biblioteconomía y ciencias de la información en la Universidad de Illinois. Observó cómo Google, que siempre había visto como una herramienta publicitaria desde su época en la industria publicitaria antes de realizar su doctorado, comenzó a llegar a las bibliotecas con máquinas gigantes para escanear libros, haciéndolos buscables en línea para el proyecto de digitalización de Google Books. Noble pensó para sí misma: "Están tramando algo".

“Comencé a tener el presentimiento de que el proyecto Google Book trataba de entrenar la tecnología de web semántica en la que estaban trabajando”, dice, usando el término para un esfuerzo por hacer que Internet sea cada vez más comprensible para las máquinas (y asimilable por ellas).

La corazonada de Noble se convirtió en una teoría que todavía sostiene: el proyecto de la biblioteca no era simplemente un proyecto de libro, sino también una forma de recopilar información escaneable para impulsar otras iniciativas. Ella cree que los datos podrían haberse utilizado más tarde como capacitación inicial para lo que eventualmente se convertiría en Bard de Google, el LLM de la compañía que se lanzó esta primavera. Cuando se le preguntó sobre la teoría de Noble, un portavoz de Google dijo a Rolling Stone: "Los modelos de IA generativa de Google se entrenan con datos de la web abierta, que pueden incluir datos web disponibles públicamente". El informe de la compañía sobre su modelo PaLM2, que se utilizó para entrenar a Bard, enumera libros entre los tipos de datos utilizados para el entrenamiento.

La investigación de Noble sobre Algoritmos de opresión comenzó unos años antes, cuando utilizó el motor de búsqueda para buscar actividades para su hija y sus sobrinas. Cuando escribió "chicas negras", los resultados estaban llenos de pornografía racista.

“Eso fue como tirar de un hilo que sobresale de un suéter”, dice. “Dices: 'Si puedo arreglar esto, entonces puedo pasar a otra cosa'. Pero comencé a tirarlo y todo el suéter se deshizo; y aquí estoy, una década después, y sigue siendo lo mismo”.

Noble y Gebru no se habían cruzado a pesar de hacer un trabajo similar, pero cuando Noble vio el tweet de Gebru esa noche sobre Google, se sorprendió por lo valiente que era. Le envió un mensaje de texto a Gebru: "¿Estás bien?" A partir de ahí comenzó una amistad.

GEOFFREY HINTON, el tipo de la portada del Times que hizo sonar la alarma sobre los riesgos de la IA, no estaba por ninguna parte cuando despidieron a su colega Gebru, dice. (Hinton le dice a Rolling Stone que no tuvo interacciones con Gebru mientras estaba en Google y decidió no comentar públicamente sobre su despido porque los colegas que conoce bien y en los que confía tenían puntos de vista contradictorios sobre el asunto). Y cuando le preguntaron sobre eso en un reciente En una entrevista con Jake Tapper de CNN, dijo que las ideas de Gebru "no son tan existencialmente serias como la idea de que estas cosas se vuelvan más inteligentes que nosotros y tomen el control". Por supuesto, nadie quiere que estas cosas se apoderen de usted. ¿Pero el impacto en personas reales, la exacerbación del racismo y el sexismo? Ésa es una preocupación existencial.

Cuando Rolling Stone le preguntó si mantiene su postura, Hinton dice: “Creo que la posibilidad de que la inteligencia digital se vuelva mucho más inteligente que los humanos y nos reemplace como la inteligencia suprema es una amenaza más seria para la humanidad que el prejuicio y la discriminación. a pesar de que los prejuicios y la discriminación están ocurriendo ahora y es necesario enfrentarlos con urgencia”.

En otras palabras, Hinton sostiene que le preocupa más su hipótesis que la realidad actual. Rumman Chowdhury, sin embargo, tomó en serio las preocupaciones de Gebru y se pronunció en contra del trato que recibió el investigador en Google ese invierno. Y la primavera siguiente, Chowdhury fue contratado para liderar el propio equipo de ética de Twitter: META (Ética, Transparencia y Responsabilidad del Aprendizaje Automático). La idea era probar los algoritmos de Twitter para ver si perpetuaban sesgos.

Y lo hicieron. Resultó que el algoritmo de recorte de imágenes de Twitter se centraba más en los rostros de las mujeres blancas que en los rostros de las personas de color. Luego, Chowdhury y su equipo realizaron un experimento aleatorio a gran escala del 1 de abril al 15 de agosto de 2020, analizando un grupo de casi 2 millones de cuentas activas, y descubrieron que la derecha política se amplificaba con mayor frecuencia en el algoritmo de Twitter. El efecto fue más fuerte en Canadá (los liberales 43 por ciento frente a los conservadores 167 por ciento amplificados) y el Reino Unido (laboristas 112 por ciento frente a los conservadores 176 por ciento).

“¿Quién será el árbitro de la verdad? ¿Quién decide qué se puede ver y qué no? Chowdhury pregunta sobre ese experimento. “Entonces, al final del día, el poder de poseer y administrar una plataforma de redes sociales es exactamente eso. Tú decides lo que es importante y eso es muy peligroso en las manos equivocadas”.

Quizás no sea sorprendente que, cuando Elon Musk se hiciera cargo de Twitter en 2022, el equipo de Chowdhury fuera eliminado.

“¿Quién será el árbitro de la verdad? ¿Quién decide qué se puede ver y qué no?

Durante años, la fuerza impulsora detrás del trabajo de Chowdhury ha abogado por la transparencia. Las empresas de tecnología, especialmente aquellas que trabajan en IA y sus alrededores, mantienen sus códigos en secreto. Muchos líderes de estas empresas incluso afirman que hay elementos de sus sistemas de IA que son incognoscibles, como el funcionamiento interno de la mente humana, sólo que más novedosos y más densos. Chowdhury cree firmemente que esto es una tontería. Cuando los códigos pueden ser desmantelados y analizados por personas ajenas, el misterio desaparece. Las IA ya no parecen seres omniscientes preparados para dominar el mundo; se parecen más a computadoras alimentadas con información por humanos. Y pueden someterse a pruebas de estrés y analizarse en busca de sesgos. ¿LLM? Una vez que miras más de cerca, es obvio que no son una versión mecánica del cerebro humano: son una aplicación sofisticada de texto predictivo. "Autocorrección picante", lo llaman Chowdhury y sus colegas.

Chowdhury fundó Humane Intelligence en febrero, una organización sin fines de lucro que utiliza el crowdsourcing para buscar problemas en los sistemas de inteligencia artificial. En agosto, con el apoyo de la Casa Blanca, Humane Intelligence codirigió un hackathon en el que miles de miembros del público probaron las barreras de seguridad de las ocho principales empresas de modelos de lenguajes grandes, incluidas Anthropic, Google, Hugging Face, NVIDIA, OpenAI, y estabilidad AI. Intentaron descubrir las formas en que se pueden manipular los chatbots para causar daño, si pueden revelar inadvertidamente información privada de las personas y por qué reflejan información sesgada extraída de Internet. Chowdhury dice que la pieza más importante del rompecabezas fue invitar a un grupo lo más diverso posible para que pudieran aportar sus propias perspectivas y preguntas al ejercicio.

La perspectiva particular de una persona matiza lo que le preocupa cuando se trata de una nueva tecnología. La nueva clase de los llamados AI Doomers y sus temores a una hipotética mutación de su tecnología son buenos ejemplos.

“No es sorprendente que si nos fijamos en la raza y, en general, la demografía de género de los Doomer o las personas existencialistas, se vean de una manera particular, tengan un nivel de ingresos particular. Porque no suelen sufrir desigualdad estructural: o son lo suficientemente ricos para salir de ella, o son lo suficientemente blancos para salir de ella, o lo suficientemente hombres para salir de ella”, dice Chowdhury. "Entonces, estos individuos piensan que el mayor problema del mundo es: ¿puede la IA hacer explotar un arma nuclear?".

BASURA DENTRO BASURA FUERA. Si alimenta el sistema de aprendizaje de una máquina con datos incorrectos o sesgados, o si tiene un equipo monolítico que construye el software, seguramente producirá resultados sesgados. Esto es sobre lo que investigadores como Chowdhury, Buolamwini, Noble y Gebru han estado advirtiendo durante tanto tiempo.

Seeta Peña Gangadharan, profesora de la London School of Economics, ha planteado un conjunto diferente de preocupaciones. Le preocupa que la IA y sus derivados puedan llevar a las comunidades marginadas aún más al límite, hasta el punto de dejarlas fuera.

Todos sabemos lo molesto que es cuando te quedas atascado hablando con algún sistema automatizado cuando estás devolviendo un par de jeans o cambiando un boleto de avión. Necesitas la ayuda de un humano; no hay ninguna opción de menú para obtenerlo. Ahora imagine quedar atrapado en ese mismo bucle inútil cuando intenta obtener beneficios sociales, buscar vivienda, solicitar un trabajo o conseguir un préstamo. Está claro que los impactos de estos sistemas no se sienten de manera uniforme incluso si se limpia toda esa basura.

Gangadharan cofundó Our Data Bodies, una organización sin fines de lucro que examina el impacto de la recopilación de datos en poblaciones vulnerables. En 2018, un miembro de su equipo entrevistó a una mujer negra mayor con el seudónimo Mellow que luchaba por encontrar vivienda a través del Sistema de Entrada Coordinada, que Gangadharan explica que funciona como Match.com para la población sin vivienda de Los Ángeles. Los trabajadores sociales agregarían su información al sistema y le dirían que no era elegible debido a un puntaje de “índice de vulnerabilidad”. Después de apelar varias veces sin éxito, Mellow arrinconó a un funcionario de la ciudad en un evento público; el funcionario dio luz verde a una revisión para colocarla.

"Me ha preocupado mucho la incapacidad de los seres humanos en general, pero específicamente de los miembros de comunidades marginadas, de perder la capacidad de rechazar, resistir o rechazar las tecnologías que se les entregan", dice Gangadharan.

“Entonces, con el LLM y la IA generativa, nos enfrentamos a una tecnología nueva, más compleja y aparentemente más inevitable... Las agencias van a recurrir a una herramienta que promete eficiencias y ahorros de costos como la IA. ¿Bien? También se venden como herramientas que eliminarán los prejuicios o errores humanos. Estas instituciones, ya sean gubernamentales o privadas, dependerán cada vez más de estas herramientas. Lo que puede terminar sucediendo es que ciertas poblaciones se conviertan en conejillos de indias de estas tecnologías o, por el contrario, se conviertan en mano de obra barata para impulsar estas tecnologías”.

"Ciertas poblaciones se convierten en conejillos de indias de estas tecnologías o de la mano de obra barata para impulsarlas".

NOBLE, GEBRU, BUOLAMWINI, Chowdhury y Gangadharan han estado pidiendo regulación durante años, tan pronto como vieron el daño que los sistemas automatizados tienen en las comunidades marginadas y las personas de color. Pero ahora que esos daños podrían extenderse a la población en general, los gobiernos finalmente exigen resultados. Y los AI Doomers están interviniendo para abordar el problema, aunque pueden ganar una fortuna con ello. Al menos eso es lo que quieren que pienses.

El presidente Biden se reunió con algunos de los AI Doomers en julio y propuso una serie de medidas voluntarias y no vinculantes que “parecen más simbólicas que sustantivas”, señaló The New York Times. "No existe ningún mecanismo de aplicación para garantizar que las empresas cumplan estos compromisos, y muchos de ellos reflejan precauciones que las empresas de IA ya están tomando". Mientras tanto, los Doomers están rechazando silenciosamente las regulaciones, como informó Time que lo hizo Open AI al presionar para suavizar la histórica legislación de IA de la UE.

"Hay una narrativa de desempoderamiento muy significativa en el doomerismo", dice Chowdhury. “La premisa general de todo este lenguaje es: 'Aún no hemos construido, pero construiremos, una tecnología que es tan horrible que puede matarnos. Pero está claro que las únicas personas capacitadas para abordar este trabajo somos nosotros, las mismas personas que lo han construido o que lo construirán.' Eso es una locura”.

GEBRU PASÓ los meses posteriores al fiasco de Google lidiando con la tormenta mediática resultante, contratando abogados y defendiéndose de los acosadores. Ella perdió peso por el estrés. Manejar las consecuencias se convirtió en un trabajo de tiempo completo.

Cuando llegó el momento de decidir qué hacer a continuación, supo que no quería regresar a Silicon Valley. Gebru abrió el Instituto de Investigación de IA Distribuida (DAIR), que se centra en la investigación de tecnologías independiente e impulsada por la comunidad, lejos de la influencia de las grandes tecnologías. Ella dio prioridad a reclutar no solo investigadores sino también organizadores laborales y defensores de los refugiados, personas que “nunca podría contratar en la academia o la industria debido a todo... el control que garantiza que este tipo de personas no influyan en el futuro de la tecnología”. .”

Gebru y sus nuevos colegas centran su investigación en descubrir y mitigar los daños de los sistemas de IA actuales. Uno de sus compañeros de investigación, Meron Estefanos, es un experto en defensa de los refugiados y analiza las aplicaciones de la IA en grupos marginados, como los sistemas de detección de mentiras basados ​​en IA que la agencia europea de fronteras, Frontex, está utilizando con los refugiados. (La reciente Ley de IA de la UE no incluye la protección de refugiados, migrantes o solicitantes de asilo). Al entrevistar a comunidades vulnerables que han sido perjudicadas por la IA, DAIR puede proporcionar alertas tempranas sobre lo que le espera a la población en general una vez que los sistemas estén en funcionamiento. más ampliamente. Han informado sobre trabajadores explotados que alimentan sistemas de inteligencia artificial, como trabajadores de datos en Argentina expuestos a imágenes perturbadoras y lenguaje violento mientras revisaban contenido marcado como inapropiado por un algoritmo.

Noble forma parte del comité asesor de DAIR y fundó su propia organización, el Centro sobre Raza y Justicia Digital, cuyo objetivo es investigar las amenazas a los derechos civiles y humanos derivadas de la tecnología no regulada. También creó un fondo de capital para apoyar a las mujeres de color y está publicando un libro sobre los peligros y daños de la IA. El hackathon de Chowdhury mostró el poder de la transparencia y de permitir que diversas voces entren en la conversación. La Liga de Justicia Algorítmica de Buolamwini analiza los daños causados ​​por la expansión de la tecnología de reconocimiento facial de la TSA a 25 aeropuertos en todo Estados Unidos. Gangadharan está estudiando la vigilancia, incluidas las herramientas automatizadas habilitadas con inteligencia artificial en los centros logísticos de Amazon y sus efectos sobre la salud de los trabajadores.

Hay algunas cosas que todos quieren que sepamos: la IA no es mágica. Los LLM no son seres sintientes y no se volverán sintientes. Y los problemas con estas tecnologías no son abstracciones: están aquí ahora y debemos tomarlos en serio hoy.

“Las vidas de las personas están en juego, pero no debido a algún sistema súper inteligente”, dice Buolamwini, “sino debido a una dependencia excesiva de los sistemas técnicos. Quiero que la gente entienda que los daños son reales y que están presentes”.

Esta vez, escuchemos.

Créditos de producción

Maquillaje porGREGG HUBBARDparaREPRESENTANTES DE B&A . Asistencia de maquillaje porLESLIE SABIDURÍA . Asistencia fotográfica porCESAR REBOLLAR,SAONI FORTUNAyHOLA LA CÁMARA . Asistencia a la producción porMARIA JULIA ROJASApoyo en viajes y logística porCENTRO DE RAZA Y JUSTICIA DIGITAL

Timnit Gebru, Rumman Chowdhury, Safiya Noble, Seta Peña Gangadharan y Joy Buolamwini (desde la izquierda)