Cuadernos de la Pandemia / Los renglones torcidos de la Inteligencia Artificial

“No existe un documento de la cultura que
no lo sea a la vez de la barbarie. Y como en sí mismo
no está libre de barbarie, tampoco lo está el proceso
de transmisión por el cual es traspasado de unos a otros”.
—Walter Benjamin, en La dialéctica en suspenso

En estos días se está cumpliendo poco más de un año del lanzamiento del ChatGPT de la OpenAI que dio una visibilidad masiva al mundo de la inteligencia artificial (IA) generativa  como no se había visto hasta ahora. Una multitud creciente de usuarios del nuevo chabot de Microsoft (y poco después, de chabots similares de otras compañías digitales como el Bard, de Google) comenzó a hacer uso del potencial que ofrecía este recurso de la tecnología informática de fácil acceso. Es cierto que herramientas parecidas han existido, aunque de manera muy limitada, desde la segunda mitad de los 60, empezando con el programa Eliza del Laboratorio de Inteligencia Artificial del MIT (las Siri, Alexa, Irene, Cortana, Aura, y otras, de nuestros días), que permitía mantener una suerte de precaria conversación entre las personas y las máquinas. Pero entre aquellos despuntes de laboratorio y los chabots actuales se ha recorrido ya una gran distancia, que va desde la extraordinaria acumulación de estructuras de datos y algoritmos y las múltiples posibilidades que ofrece, hasta la absoluta facilidad de usar esta tecnología, con un mínimo de conocimiento inicial y una computadora o un teléfono inteligente por parte de cualquier usuario. Lo que podríamos llamar alegremente, el mundo de la inteligencia virtual al alcance de todos.

Sin embargo, en medio de todo este entusiasmo, los observadores críticos de la IA no dejan de notar la falta de transparencia en el proceso de elaboración y funcionamiento del GPT-4, lanzado en marzo de este año, y que se considera hoy el modelo más avanzado y preferido de los tipos de lenguaje de la IA. Como destaca Will Knight, de la revista Wired, estas omisiones no ocurren por casualidad. “OpenAI y otras grandes empresas están muy interesadas en mantener en secreto el funcionamiento de sus algoritmos más preciados, en parte por miedo a que se haga un mal uso de la tecnología, pero también por la preocupación de darles ventaja a sus competidores” (1).

Este secretismo ha sido parte de una tradición de las grandes compañías informáticas. Pero a medida que avanza la utilización cada vez más abarcadora e invasiva de las tecnologías de IA (de las cuales los chatbots son apenas uno de sus muchos y diversificados productos), los expertos en ciencias digitales, y a menudo los mismos creadores o patrocinadores de estas tecnologías, como Sam Altman y Geoffrey Hinton, no dejan de mostrar su profunda inquietud, entre otras cosas, por el peligro potencial de que la IA se use para la desinformación a escala global, ataques cibernéticos ofensivos, pérdida de empleos y la posibilidad de que las máquinas se hagan autónomas y superen las capacidades cognitivas humanas. Es decir, todo un escenario catastrofista a lo 1984. Por cierto, nada improbable, como lo advierten sus propios gestores.

A la par con estas preocupaciones legítimas (aunque incompletas e insuficientes) sobre las amenazas potenciales de la IA, existen otras de carácter inmediato. No tanto por lo que pueda ocurrir en un futuro próximo o lejano, sino por lo que ya ha venido ocurriendo durante años de prácticas discriminatorias y racistas. Como apunta Paola Ricaurte, del Instituto Tecnológico y de Estudios Superiores de Monterrey, México, “los sistemas de inteligencia artificial funcionan bien para un tipo de personas: blancas, heteronormadas, que hablan inglés, que tienen movilidad, que pueden entender cómo funcionan esos sistemas. Para las demás personas, estos sistemas representan un tipo de tecnología que no está diseñada para ellas ni por ellas” (2).

Los testimonios sobre los sesgos de la IA, tal como está concebida hasta hoy, son interminables. Aquí algunos de ellos: Joy Buolamwini, una afroestadounidense estudiante de posgrado del MIT, descubrió en 2018 que el programa de reconocimiento facial en que trabajaba no podía detectar su piel oscura. Probó entonces ponerse una máscara blanca. El sistema  reconoció de inmediato su presencia, aunque no pudo identificarla. El hallazgo de Buolamwini la llevó a explorar más profundamente esta falla del sistema a la que la científica denominó la “mirada codificada”.

Su pesquisa la impulsó a fundar Algorithmic Justice League, una organización a través de la cual busca crear conciencia y legislación sobre los prejuicios e ignorancia latentes de los encargados de diseñar programas digitales que favorecen de manera evidente al grupo dominante de la sociedad. Su historia está descrita en detalle en el revelador documental Code Bias, de Netflix (2020). Entre sus investigaciones, Buolamwini destaca cómo los textos e imágenes del programa de aprendizaje automático Stable Difussion mostraba que los trabajos mejor remunerados eran otorgados a hombres de piel clara, mientras las personas de piel oscura estaban bajo las categorías de delincuentes, criminales, terroristas, narcotraficantes o presidiarios, sin ninguna prueba de que tuvieran esos antecedentes.

Otra historia es la de la profesora de ciencias políticas y tecnología de la Universidad de Harvard, Latanya Sweeney. En una ocasión en que buscaba en internet un artículo que había escrito años atrás, halló que las primeras entradas de su búsqueda en Google decían: “Chequea arrestos de Latanya Sweeney” y “Latanya Sweeney, ¿arrestada?”. La profesora quedó sorprendida, primero porque nunca había sido arrestada, y segundo, por la manera criminalizante como el buscador de Google la representaba. Esto la llevó a pensar si el resultado se debía a que tenía un nombre que el buscador identificaba con el de personas negras. Sweeney realizó una investigación online por todos los estados del país y halló que, en efecto, muchos nombres de origen africano en el internet presumían que la persona podía habr estado en la cárcel o que tenían cuentas con la justicia, aunque al indagar la información de esas personas no había ningún récord criminal. Era claro que el buscador de Google llegaba a conclusiones racistas por la data con la que había sido programado.

Julio César Guanche, especialista del Sector de Ciencias Sociales y Humanas de la UNESCO, narra la historia de un hombre afroestadounidense arrestado en frente de su familia en 2021 en Michigan después de que un programa de IA lo fichara erróneamente como autor de un robo. Luego se comprobó que el sistema había sido programado mayormente con rostros blancos e identificó al hombre negro como un delincuente. Guanche menciona también que en ese mismo año, en Holanda, 26 mil familias “fueron acusadas de fraude. El dato en común entre ellas era poseer algún origen migrante. El hecho llevó a la ruina a miles de inocentes, que perdieron casas y trabajos, obligados a devolver dinero de la asistencia social. Se trataba de un error que generó una ‘injusticia sin precedentes’ en ese país. El gabinete renunció ante el escándalo. El diagnóstico del supuesto fraude lo elaboró una IA” (3).

Los algoritmos que definen el funcionamiento de la IA son como la lista de un conjunto de elementos que componen una fórmula, la secuencia para un procedimiento, una estrategia, una agenda, una rutina, las instrucciones con las que tradicionalmente se han programado las computadoras y otras máquinas “inteligentes”. Pero conforme se ha avanzado en el desarrollo de la tecnología virtual, la acumulación extraordinaria de información (la big data) ha otorgado a las máquinas la capacidad de crear clasificaciones en el ordenamiento de la data. Con frecuencia, sus respuestas o informes son incomprensibles o inesperados para los mismos programadores, pero no por eso los hace menos responsables de los resultados.

El drama laboral y personal de Margaret Mitchell, una de las creadoras del Departamento de Ética de IA de Google, es una advertencia sobre cómo opera el mundo interno de las grandes compañías de IA. Mitchell fue despedida supuestamente por haber violado el código de conducta y de seguridad, entre otras cosas, al filtrar documentos confidenciales de la compañía. En una entrevista al diario El País, de España, la experta en ética y tecnología, indicó que las prácticas discriminatorias y los algoritmos están condicionados “desde el principio: si las decisiones no las toma un grupo inclusivo de personas diversas, no serás capaz de incorporar diversidad de pensamiento en el desarrollo de tu producto. Si no se invita a la mesa a personas marginadas, los datos y la manera en que se recopilarán reflejarán la perspectiva de los que tienen poder. En las compañías tecnológicas, tienden a ser, de forma muy desproporcionada, hombres blancos y asiáticos. Y ellos no se dan cuenta de que los datos que manejan no son completos, porque [solo] reflejan su visión”.

Mitchell señala que, en consecuencia, las tecnologías resultantes “no funcionarán para personas marginadas, o hasta les harán daño. Por ejemplo, coches autónomos que no detectan a los niños, porque los datos que controlan no tienen en cuenta sus comportamientos más caóticos o erráticos. Esto ya ocurría con las airbags, que hacían más daño a las mujeres, porque habían sido diseñados sin tener en cuenta que hay personas con pechos. Hay que prestar atención a las características de personas marginadas, o que son tratadas como menores”. Mitchell denuncia también que los grupos más afectados por los sesgos de las IA son “las mujeres negras, personas no binarias, gente de la comunidad LGTBIQ+ y personas latinas. Esto lo ves también en quién trabaja en las compañías tecnológicas y quién no”. La investigadora confiesa su pesimismo sobre el futuro de la IA, dado que las personas más afectadas son las que no participan ni en la creación ni en la toma de decisiones de las compañías digitales (4).

Safiya Umoja Noble, especialista en estudios de internet y profesora de Estudios de Género y Estudios Africanoestadounidenses de la Universidad de California en Los Ángeles, puntualiza en su libro Algorithms of Oppression: “Aunque tendemos a pensar que términos como data y ‘algoritmos’ son benignos, neutrales u objetivos, ellos son cualquier cosa menos eso. La gente que hace las decisiones tiene todo tipo de valores, muchos de los cuales promueven abiertamente el racismo, el sexismo y falsas nociones de meritocracia, todo esto bien documentado en estudios de Silicon Valley y otros centros tecnológicos” (5).

Resulta también interesante, aunque no extraño en absoluto, que entre los diez países líderes actuales en la tecnología de IA (Estados Unidos, China, Reino Unido, Israel, Canadá, Francia, India, Japón, Alemania y Singapur, del primero al décimo), Estados Unidos ocupe no solo el primer lugar en la cantidad de empresas dedicadas a esta industria, sino que sobrepasa en mucho a los demás en el desarrollo y empleo de tecnologías digitales para la guerra.

La portentosa industria militar estadounidense experimenta con tecnología digital avanzada al menos desde principios de los 90. En agosto de este año, la Fuerza Aérea solicitó cerca de seis mil millones de dólares para gestionar la compra de por lo menos mil aviones militares sin tripulación, que serán conducidos con inteligencia artificial. Así mismo, el ejército avanza en el desarrollo de drones que serán utilizados en las 750 bases militares que tienen los Estados Unidos en unos 80 países del mundo, todo ello pagado con los impuestos de la población.

En buena medida, los sesgos que caracterizan el diseño de las IA en los Estados Unidos se encuentran también en otros países, con mayor o menor énfasis en unos u otros aspectos. De allí que en marzo de este año, frente al acelerado avance de las tecnologías generativas como el nuevo ChatGPT-4, más de mil expertos y personal de los laboratorios de IA de las grandes compañías digitales pidieron a través de una carta hacer una pausa de seis meses para tratar de frenar el desarrollo explosivo de la IA, a fin de establecer pautas, controles y protocolos sobre la dirección responsable que debía tomar la industria.

La carta indica en uno de sus segmentos clave, “Los sistemas de IA contemporáneos ahora se están volviendo competitivos para los humanos en tareas generales, y debemos preguntarnos: ¿Deberíamos dejar que las máquinas inunden nuestros canales de información con propaganda y falsedad? ¿Deberíamos automatizar todos los trabajos, incluidos los de cumplimiento? ¿Deberíamos desarrollar mentes no humanas que eventualmente podrían superarnos en número, ser más inteligentes, obsoletas y reemplazarnos? ¿ Deberíamos arriesgarnos a perder el control de nuestra civilización? Tales decisiones no deben delegarse en líderes tecnológicos no elegidos. Los sistemas potentes de IA deben desarrollarse solo una vez que estemos seguros de que sus efectos serán positivos y sus riesgos serán manejables”. Dado que tal pausa no se ha llevado a cabo hasta el momento, la carta sigue abierta todavía para la firma de profesores, servidores públicos y de la industria digital a través de la página del Future of Life Institute (5).

Como una evidencia de las tensiones internas que los propios generadores de la industria de las IA están exhibiendo ante el mundo, en mayo de este año un grupo de los más de 350 destacados ejecutivos, investigadores e ingenieros de IA firmaron también un brevísimo documento titulado “Declaración sobre el riesgo de la IA”. Consiste de una sola frase donde indican: “Reducir el riesgo de extinción causado por la inteligencia artificial debería ser una prioridad global, junto con otros riesgos a escala social como pandemias y guerra nuclear” (6).

El gobierno de Biden, que no es inocente ni marginal a lo que está sucediendo (y que, además, es un protagonista con todo su aparato burocrático y militar), tomó nota al fin del impacto que la IA juega y seguirá jugando de modo creciente en el reordenamiento geopolítico global. El 30 de octubre de este año, la Casa Blanca expidió la Orden Ejecutiva sobre el desarrollo y uso seguro y confiable de la inteligencia artificial, la cual está escrita en la correcta dirección. Uno de sus párrafos dice: “Los próximos pasos críticos en el desarrollo de la inteligencia artificial deberían basarse en las opiniones de los trabajadores, los sindicatos, los educadores y los empleadores para respaldar usos responsables de la inteligencia artificial que mejoren la vida de los trabajadores, aumenten positivamente el trabajo humano y ayuden a todas las personas a disfrutar de manera segura de los avances y oportunidades derivados de la innovación tecnológica”. La cuestión es que tales palabras y aspiraciones se cumplan por parte de organismos vigilantes e independientes. Lo cual no suele ocurrir y se pierde en los laberintos de los intereses políticos y económicos.

Entre tanto, el Parlamento de la Unión Europea también dio pasos el pasado 8 de diciembre para establecer los límites en el uso de la inteligencia artificial. El texto tentativo de la A.I. Act busca posicionarse como un referente global sobre los beneficios y riesgos de esta tecnología, entre los que se encuentra, según esta propuesta de ley, la difusión de noticias falsas, la automatización de la fuerza laboral, las limitaciones sobre el uso de reconocimiento facial  y la seguridad nacional. Se espera que el Parlamento la apruebe en algún momento del próximo año.

No hay duda de que el progreso científico, tecnológico y social que representa la IA es uno de los más significativos en prácticamente todas las áreas de la vida personal y pública, incluyendo la educación, la medicina, las ciencias y las comunicaciones, por mencionar unas pocas. Sin embargo, debería resultar claro que, como en tantos otros momentos de la historia, el progreso de unos pocos es el atraso y la explotación de la mayoría. Como anotaba Walter Benjamin, todo documento (o mecanismo) de la cultura lo es también de la barbarie. Lo que puede servir a los fines de la clase y los grupos dominantes es al mismo tiempo el instrumento con el cual los pueblos marginados y minorizados se consumen más en la desesperanza. Quizá hay que empezar por ejercer el control por nosotros mismos en la medida en que nos acercamos de manera crítica e informada a los productos tecnológicos que determinan nuestros modos de vida. Quizás todavía sea tiempo de no ser solo espectadores y consumidores, sino de actuar alertas por el bien común de la actual y las futuras generaciones. Quizás.

Fuentes citadas:

1) “La tecnología detrás de las IA más poderosas es cada vez menos transparente”, por Will Knight. Wired, 17 de diciembre, 2023.
2) “Inteligencia artificial: ¿discriminación garantizada?”, por Maricel Drazer. DW, 23 de noviembre, 2023.
3) “La historia del algoritmo. Los ‘fallos’ de la Inteligencia Artificial, por Julio César Guanche. UNESCO, 21 de Septiembre de 2023.
4) “Margaret Mitchell: ‘Las personas a las que más perjudica la inteligencia artificial no deciden sobre su regulación’”, por Josep Catà Figuls. El País, 26 de noviembre, 2023.
5) “Pause Giant AI Experiments: An Open Letter”. Future of Life, March 22, 2023
6) “Statement on AI Risk”. Center of AI Safety, May 30, 2023.

—

Este artículo está respaldado en su totalidad o en parte por fondos proporcionados por el Estado de California, administrado por la Biblioteca del Estado de California en asociación con el Departamento de Servicios Sociales de California y la Comisión de California sobre Asuntos Estadounidenses Asiáticos e Isleños del Pacífico como parte del programa Stop the Hate. Para denunciar un incidente de odio o un delito de odio y obtener apoyo, vaya a CA vs Hate.

This article is supported in whole or in part by funding provided by the State of California, administered by the California State Library in partnership with the California Department of Social Services and the California Commission on Asian and Pacific Islander American Affairs as part of the Stop the Hate program. To report a hate incident or hate crime and get support, go to CA vs Hate.