El debate sobre la inteligencia artificial se está desarrollando en una burbuja

Amba Kak / Sarah Myers West THE ATLANTIC

ACTUALIDAD

María Pedreda

Los riesgos que presenta en la atención médica no son ciencia ficción, ya son reales

27 nov 2023 . Actualizado a las 11:06 h.

Durante gran parte del tiempo, los debates sobre la inteligencia artificial (IA) están muy lejos de la realidad de cómo se utiliza en el mundo actual. A principios de este año, ejecutivos de Anthropic, Google DeepMind, OpenAI y otras empresas de inteligencia artificial declararon en una carta conjunta que «mitigar el riesgo de extinción de la IA debería ser una prioridad a nivel mundo, junto con otros riesgos a escala social, como las pandemias y la guerra nuclear». Antes de la cumbre sobre inteligencia artificial que convocó recientemente, el primer ministro británico, Rishi Sunak, advirtió que «la humanidad podría perder el control de la inteligencia artificial completamente». Los riesgos existenciales, o los riesgos x, como se les conoce a veces en los círculos de IA, evocan películas de ciencia ficción de gran éxito y muestran los miedos más profundos de muchas personas.

Pero la inteligencia artificial ya plantea amenazas económicas y físicas, unas que dañan de forma desproporcionada a las personas más vulnerables de la sociedad. A algunas personas se les ha denegado incorrectamente la cobertura de atención médica, o han seguido detenidas basándose en algoritmos que pretenden predecir la criminalidad. La vida humana está explícitamente en juego en ciertas aplicaciones de inteligencia artificial, como los sistemas de selección de objetivos basada en la IA, que el Ejército de Israel ha utilizado en Gaza. En otros casos, los gobiernos y las corporaciones han usado la inteligencia artificial para sacarles poder a miembros de la sociedad y ocultar sus propias motivaciones de forma sutil: en sistemas de desempleo diseñados para incorporar políticas de austeridad, en sistemas de vigilancia de los trabajadores que pretenden reducir la autonomía, en sistemas de reconocimiento de emociones que, a pesar de estar basados en una ciencia errónea, guían las decisiones sobre quién debe ser escogido y contratado.

Nuestra organización, el AI Now Institute, estuvo entre el pequeño número de grupos guardianes presentes en la cumbre de Sunak. Nos sentamos en mesas donde los líderes mundiales y ejecutivos tecnológicos expusieron las amenazas a los hipotéticos «humanos» (sin raza y sin género) en el horizonte incierto. El evento subrayó cómo la mayoría de los debates sobre la dirección de la inteligencia artificial se desarrollan en una burbuja.

El término inteligencia artificial ha significado cosas diferentes en las últimas siete décadas, pero la versión actual de la IA es un producto de gran poder económico que las grandes tecnológicas han acumulado en los últimos años. Los recursos necesarios para construir IA a escala están concentrados entre un pequeño número de empresas. Y las estructuras de incentivos del sector están basadas en las necesidades comerciales de la industria, no de la sociedad.

«En la batalla contra Microsoft, Google apuesta por un programa de inteligencia artificial en la medicina para romper la industria de la salud», se leía en un titular de Wall Street Journal este verano. Ambos gigantes tecnológicos están compitiendo entre ellos, y con otros más pequeños, para desarrollar chatbots destinados a ayudar a los médicos, especialmente a aquellos que trabajan en escenarios clínicos de bajos recursos, a extraer datos y a encontrar respuestas a las preguntas médicas. Google ya ha probado un modelo de lenguaje llamado Med-PaLM 2 en varios hospitales.

Las grandes empresas tecnológicas destacan en el lanzamiento de productos que funcionan medianamente bien para la mayoría de las personas, pero que fracasan por completo para otras, casi siempre personas estructuralmente desfavorecidas en la sociedad. La tolerancia de la industria ante esos fallos es un problema común, pero el peligro que representan es mayor en las aplicaciones de atención médica, que deben funcionar con un alto nivel de seguridad.

La propia investigación de Google plantea dudas significantes. Según un artículo publicado en el mes de julio en Nature por investigadores de la tecnológica, los médicos descubrieron que el 18,7 % de las respuestas producidas por un sistema de inteligencia antiguo, el Med-PaLM, contenían «contenido inapropiado o incorrecto» (en algunos casos, errores de gran importancia médica), y el 5,9 % de ellas probablemente contribuyeron a algún daño, incluida «la muerte o un gran daño» en algunos casos. Un estudio preliminar, aún no revisado por pares, sugiere que Med-PaLM 2 mejora una serie de medidas, pero muchos aspectos del modelo, incluido el alcance con el que los médicos lo están utilizando con pacientes de la vida real, continúan siendo un misterio.

«No creo que esta tecnología esté todavía en el lugar donde a mí me gustaría para incluirla en el historial médico de mi familia», afirmó Greg Corrado, director sénior de investigación de Google que trabajó en el desarrollo del sistema, al Wall Street Journal.

Las grandes compañías de inteligencia artificial ven irrelevantes las preocupaciones sobre su propio poder de mercado, sus grandes incentivos para participar en la vigilancia de datos y el impacto potencial de sus tecnologías en los trabajadores, especialmente los creativos. La industria, en cambio, presta atención a los hipotéticos peligros que presenta la «inteligencia artificial en las fronteras», y muestra gran entusiasmo por iniciativas voluntarias como el red-teaming, que permite a las empresas desplegar grupos de hackers para simular ataques a sus propios sistemas de IA.

Una evaluación independiente de las nuevas tecnologías

La sociedad tiene todo el derecho a pedir una evaluación independiente de las nuevas tecnologías y a decidir sobre estos resultados, a acceder a los conjuntos de datos que se utilizan para entrenar los sistemas de inteligencia artificial, y a definir y prohibir categorías de IA que nunca deberían haberse desarrollado, no solo porque algún día podrían comenzar a enriquecer uranio o a diseñar patógenos mortales por iniciativa propia, sino porque violan los derechos de las personas y ponen en peligro su salud a corto plazo. La campaña para reajustar la agenda política de la inteligencia artificial a las amenazas da vía libre a las empresas con intereses en el presente. El primer paso para afirmar el control público sobre la IA es repensar seriamente quién lidera la conversación sobre su política de regulación y a qué intereses sirven esas conversaciones.