Lorena Jaume-Palasi: "La IA es una tecnología basada en una mentalidad patriarcal y racista"

"La tecnología y, por tanto, la inteligencia artificial es un terreno que ha sido guardado como cancerbero por los hombres desde hace décadas", reconoce al otro lado del teléfono la investigadora de referencia en IA Lorena Jaume-Palasi. La también fundadora de The Ethical Tech Society y Algorithmic Watch, atiende a infoLibre desde su casa de Alemania pocos días antes ser una de las protagonistas de la conferencia europea 4D sobre digitalización democrática y derechos digitales organizada este miércoles por Xnet y la Fundación.cat en Barcelona. 

Un evento con una alta participación de mujeres en un campo en el que no es nada habitual y en el que compartirá escenario con Simona Levi, coordinadora de Xnet; Sophie Bloemen, directora de Commons Network; la activista y analista de datos Miriam Hatibi o Micaela Mantegna, experta en ética de la gobernanza en el metaverso e inteligencia artificial. Una presencia llamativa hoy en día, pero no en sus inicios. 

Esta experta en ética y filosofía del derecho aplicadas a la tecnología, recuerda que inicialmente no era así, tal y como mostró la película Figuras Ocultas sobre científicas afroamericanas en la NASA. "En un inicio, los empleos de computadoras humanas eran un trabajo de mujer y mal pagado. Hasta que los hombres se dieron cuenta de que tenía una importancia estratégica", explica Jaume-Palasi. 

¿En qué momento las mujeres quedaron relegadas a un papel secundario? 

Es un proceso multidimensional porque también influye el propio contexto de la época. Cuando la inteligencia artificial empieza a instaurarse como disciplina académica es justo después de la Segunda Guerra Mundial, cuando las mujeres habían asumido muchos cargos, y en la posguerra empezaron a volver a ser recluidas en sus casas. Así ahora, determinadas carreras, como las de ingeniería o las de matemáticas, son círculos cerrados y, si bien hay mujeres, lo tienen mucho más difícil. 

A nivel de especialización, hay una separación totalmente artificial en el que se divide todo lo que es la ética o dimensión social y luego el campo como tal de la tecnología, del software. Y a las mujeres se les relega a la ética y a los campos con una dimensión social y los hombres se postulan en cargos puramente de ingeniería. 

No tenemos ningún motivo para creer que ChatGPT pueda convertirse en IA general

Pero, la situación está cambiando.

Cada vez más estamos viendo que hay un pensamiento feminista dentro de los círculos tecnológicos que lleva un par de décadas luchando. Primero, contra esta sectorialización de decir "yo, hombre, solo hago algoritmos y tú, mujer, solo haces filosofía de la tecnología". Gracias a figuras como Timnit Gebru o Julia Angwin, más y más mujeres estamos empezando a unirnos. Somos como una red y hemos empezado a apoyarnos y a intentar crear tecnología de una forma feminista y que la entiende de forma a diferente a la de un hombre blanco privilegiado. 

Y segundo, también estamos tejiendo alianzas feministas intentando hacer trabajo político al respecto porque estamos viendo que las figuras que más influencia tienen ahora son masculinas. Es el caso de Elon Musk, Sam Altman o Bill Gates que, si bien hacen tecnología, también están haciendo política y son figuras con una mentalidad muy patriarcal, anticuada y también neoliberal radical, hipercapitalista, racista y sexista. 

Sobre la inteligencia artificial, ¿nos está cambiando como sociedad el uso de esta tecnología?

La IA es una tecnología basada en una mentalidad centenaria y patriarcal; y en un pensamiento anticuado, paternalista y racista. No tiene nada de innovador porque lo único que hace es manifestar pensamientos e ideas de automatización altamente retrógradas. No lo veo como una revolución sino como una constante y también como una narrativa. 

Su auge e implementación masiva entonces es más parecida a lo que supuso la aparición del Excel que a lo que vimos en Terminator. 

Hace poco leí en un paper, que había sacado uno de los colegas de Sam Altman, el argumento de que la inteligencia era un monstruo necesario, algo que podía desatar una especie de Terminator pero que lo teníamos que hacer para poder controlarlo. Y es el mismo argumento que se utilizó con la bomba atómica o que usó Thomas Hobbes en Leviatán, que es un libro de 1651.

La idea de la inteligencia es un concepto que se creó durante la época del auge de la pseudociencia de la eugenesia, que lo que hace es perpetuar el concepto de raza y legitimar el tratamiento de esas susodichas razas. 

Elon Musk, Sam Altman o Bill Gates están haciendo política y son figuras con una mentalidad anticuada, hipercapitalista y sexista

Así es normal que numerosos estudios apunten a que la inteligencia artificial arrastra sesgos humanos y sea racista, machista, con ideología… ¿Se puede poner fin a estos sesgos para que no discrimine a mujeres o a personas racializadas? 

No, porque la inteligencia artificial se basa en procesos matemáticos que, en parte, dependen del sesgo, que es lo que uno define al establecer el estándar. Lo que hace la IA es crear cajones y cuando creas cajones siempre vas a crear discriminación. Sin olvidarse de que cuando creas un estándar, también hay que preguntarse qué pasa con todo lo que no se queda fuera, con las personas que se quedan entre dos estándares. 

Y como la IA es una tecnología masculina blanca, lo que hace es centrar eso y definir ellos el estándar. El hecho de pensar que se puede crear algo de forma universal que vale para todos es algo extremadamente político y problemático cuando se usa en contextos humanos o sociales. 

Más allá de los sesgos, también preocupa la hipervigilancia que se asocia con la inteligencia artificial. 

Toda la IA se basa en una idea de observación y de vigilancia porque se trata de dataficar y de estructurar esos datos en cajones. También en observar lo que estás dataficando. Y es una vigilancia masiva por el hecho de que este tipo de sistemas solo funciona si se tienen muchos millones de datos. Por esto, estas tecnologías no se emplean con las élites, que son pocas, sino con la masa ya que son tecnologías de alta escala, que manejan grupos e infraestructuras grandes con las que se puede trabajar de forma masiva. 

Se usa a la masa porque cuando algo se automatiza se convierte en una forma de precarización. No es casualidad que los médicos de otros continentes reciben visados para trabajar en occidente, mientras que occidente lo que hace es exportar apps de salud a África, y así de paso dataficar a las personas africanas. Datos a los que, por cierto, no tienen acceso porque, desde hace años, los datos del mundo están todos en el hemisferio norte y son solo accesibles para personas del hemisferio norte.

Hay más ataques de 'ransonware' porque se está introduciendo al tuntún esta tecnología en grandes cantidades de sistemas

¿La inteligencia artificial también genera problemas de seguridad?

Los sistemas son súper inestables y vulnerables porque, matemáticamente, no se pueden hacer seguros. Cada vez que metes un tipo de estos sistemas en una administración o en una escuela, se está metiendo una vulnerabilidad. Por esto, cada vez hay más ataques de ransonware porque se está introduciendo al tuntún esta tecnología en grandes cantidades de sistemas.

Muchos expertos apuntan también al impacto que tendrá en el mercado laboral. ¿Vamos realmente encaminados a un mundo donde no será necesario trabajar? 

El padre de la máquina de cálculo, Gottfried Wilhelm Leibniz, también prometió un mundo sin trabajo hace más de 400 años y la verdad es que todavía seguimos trabajando. No veo para nada que la inteligencia artificial se vaya a implementar en todas partes porque no vamos a tener recursos para esto a largo plazo. Muchas de las materias primas no son reciclables y la reserva se está acabando. 

Se ha prometido mucho esta utopía aunque la ciencia está mostrando y desmontando esta tecnología y, por eso, muchos expertos ya están adelantando que puede llegar un invierno de la IA porque se ha prometido mucho pero se ha cumplido poco.

La nueva ley de la UE legitima el uso de muchas tecnologías que no deberían como la biometría o la IA generativa

Lo que está claro es que se están creando nuevos puestos de trabajo, por ejemplo las personas que moderan los datos de las redes sociales o de la inteligencia artificial. 

Sí, y es una dimensión horrorosa, porque este tipo de tecnologías necesitan datos humanos porque estamos viendo que los sintéticos lo único que hacen es contaminar las bases de datos porque, por ejemplo, la IA generativa como ChatGPT genera sus propios datos. Para limpiar estas bases de datos, se necesitan personas para corregir y crear datos humanos. Y trabajar en un centro de moderación es horroroso y traumatizante porque están corrigiendo bestialidades como violaciones de niños y mujeres, durante horas y a contrarreloj. Y, en parte, son imágenes sintéticas que la máquina crea en base a todas las que ha cogido el internet. 

También es preocupante el efecto medioambiental que tiene la inteligencia artificial.

Este tipo de tecnologías requieren de muchísimo hardware que, además, se queda obsoleto en un tiempo más corto de tiempo. Y esto implica que vamos a necesitar una extracción de materia prima horrenda y, con ello, ampliar las minas de materiales no reciclables que, en cierto modo, ya están en peligro de acabarse. Además, de que se tienen que utilizar en coches, aparatos en el sector de salud o agricultura. 

La tecnología en general, y la IA en particular, implica también grandes cantidades de agua potable para enfriar los centros de datos en una época en las que, por ejemplo España tiene el 74% del territorio en peligro de desertificación. Y también consume mucha electricidad para la cual tampoco tenemos ni las capacidades ni la infraestructura. 

Va a llegar un momento en el que la materia prima se nos va a acabar y vamos a tener que decidir para qué vamos a distribuir el agua o la electricidad, y eso va a crear conflictos políticos extremos. 

La nueva regulación de la IA en la UE es ya una realidad y además con la etiqueta de pionera, ¿va en la buena dirección o tiene lagunas? 

No creo que vaya en la buena dirección. Lo que hace es legitimar el uso de muchas tecnologías que no debería como la biometría o la inteligencia artificial generativa. 

Hace 80 años, un Elon Musk no habría tenido el poder que tiene ahora

Tras la irrupción de ChatGPT, expertos, investigadores y gurús tecnológicos firmaron cartas y manifiestos alertando sobre su desarrollo y sus usos "aterradores", dibujando un futuro casi apocalíptico. ¿Está justificado ese temor? 

No, no está justificado para nada. Están usando la narrativa de 'Leviatán' y de la bomba atómica como monstruo necesario. Pero lo que están diciendo es ciencia ficción porque nunca se ha comprobado y no tenemos ningún motivo para creer que ChatGPT puede convertirse en inteligencia artificial general. Ya de por sí, la tecnología es estadística y son transformadores que se crearon en su día para el contexto de las traducciones. ¿Cómo puede ser algo que se concentra en estructuras sintácticas el inicio de la IA general? 

Simona Levi, activista: "Perseguir a pedófilos en Telegram no es un recorte a la libertad de expresión"

Ver más

El desarrollo de esta tecnología definirá nuestra relación con ella. ¿Nuestros hijos o nietos van a tener un mundo muy diferente al nuestro?

La inteligencia artificial es simplemente una manifestación de una historia y de un presente actual. Todo va a cambiar, pero lo que cambia no cambia tanto por la tecnología sino por lo que hacemos con la tecnología. La historia de la tecnología es también una historia de cómo las posiciones en una sociedad cambian y cómo determinadas posiciones pueden pedir más o pedir menos. Hace 80 años, un Elon Musk no habría tenido el poder que tiene ahora. Pero el poder que tiene ahora, tiene mucho que ver con cómo ha cambiado todo como sociedad y con el hecho de que hemos decidido que podemos hacer capitalismo dentro del campo digital. 

Para mí, lo que cambia una sociedad es la forma con la que hacemos política y nuestra economía en combinación con la posición de la sociedad. Estamos en una época de transición ecológica y en 50 años tendremos otro tipo de recursos, o los recursos que teníamos hasta ahora no estarán. ¿Seguiremos con el capitalismo intentando crecer más y pensando que el crecimiento es la única forma de prosperar? Ni idea, este modelo actual es incompatible con parar la catástrofe climática, pero va a tener que ser una decisión de nuestra sociedad.