Anabel Arias (IA Ciudadana): "El reconocimiento biométrico en espacios públicos puede ampliar racismo y pobreza"

La UE quiere volver a marcar el ritmo y convertirse ahora en la pionera en legislar la inteligencia artificial. Si cuando en 2021 empezó a preparar su reglamento sobre este tecnología todos los conceptos que salían de este texto sonaban a una escena de Minority Report o a un capítulo de Black Mirror, más de dos años después muchas de estas herramientas ya forman parte de nuestras vidas como los deepfakes, ChatGPT o la aplicación de moda esta semana en el universo tuitero —en las últimas semanas hemos pasado de la de vídeos doblados al inglés, al de las imágenes que escondían mensajes hasta el de las fotos como universitarios de estos días—.

El contexto ha cambiado drásticamente, pero también un reglamento que se encuentra ya en su etapa final. Los famosos trílogos —las negociaciones trilaterales de alto nivel entre el Consejo, la Comisión y el Parlamento Europeo antes de dar luz verde a la mayoría de las normas— encaran su recta final bajo la Presidencia española del Consejo de la UE. Por ello, en un momento clave, 16 organizaciones se han unido en la Coalición IA Ciudadana sobre Inteligencia Artificial para instar a los reguladores a proteger y fomentar los derechos humanos y pedir transparencia y que la determinación del "riesgo" de los sistemas de inteligencia artificial "no debe quedar en manos de las propias empresas que los desarrollan". "No puede ser el lobo quien decida si quiere cuidar de las gallinas", explica el texto publicado a principios de este mes de octubre. 

Ante el próximo aterrizaje de esta nueva legislación, infoLibre habla con Anabel Arias, portavoz de la coalición IA Ciudadana y responsable de derechos digitales de CECU, sobre este reglamento pionero y su puesta en marcha: 

¿Por qué deciden iniciar esta campaña sobre el futuro reglamento de Inteligencia Artificial?

La idea era alertar de algunos puntos que consideramos prioritarios en lo que es la negociación que está teniendo lugar a nivel europeo. Estamos en los conocidos como trílogos, que son procesos opacos ante los que, por su propia naturaleza y como sociedad civil, pedimos transparencia. Lo que salga de ahí es lo que va a regular a toda la UE. Además, si pensamos en el efecto que normalmente tienen las normativas europeas, sus consecuencias van más allá de las fronteras de la UE. 

La secretaria de Estado de Digitalización e Inteligencia Artificial, Carme Artigas, ha respondido vía Twitter asegurando que la participación de la sociedad civil está garantizada. ¿Qué valoración hacen de su respuesta? 

La respuesta que nos ha brindado tiene que ver con cuestiones que están relacionadas con el reglamento, pero no necesariamente con las negociaciones en trílogo, que eran nuestra prioridad. Nos contestó sobre cuestiones locales como es el tema del entorno de pruebas o sandbox, que es una prueba que se va a hacer del reglamento con aquellas empresas que implementen o desarrollen sistemas de inteligencia artificial y que estén interesados en participar en cómo el reglamento tendría que ser aplicado. Es una especie de muestra que se va a hacer para ver cómo funciona el reglamento. Es verdad que España se ha posicionado, o se ha querido posicionar, como líder en este apartado y en la creación de la Agencia de Supervisión. 

Pero esto, estrictamente, no tiene que ver con lo que nosotras estábamos reclamando como coalición que hacía referencia a los trílogos y a la negociación del reglamento de inteligencia artificial. Una vez esté aprobado y no tenga las salvaguardias, que nosotras entendemos que son fundamentales para proteger los derechos fundamentales, el entorno de pruebas también va a arrastrar de alguna manera esos errores.

¿Han recibido alguna otra respuesta por parte del Gobierno o por parte de la UE? 

Como parte de la campaña también hemos enviado la declaración al Gobierno y hemos recibido la conformidad de la recepción. Estamos a la espera de mayores novedades con la intención de volver a tener una reunión con la secretaria de Estado, si es posible, y trasladar estas preocupaciones y, a la vez, volver a pedir transparencia en lo que está sucediendo en los trílogos. 

Estamos, como comentaba, en la fase final de la negociación del reglamento europeo de inteligencia artificial. ¿Cuándo podríamos tener un acuerdo? 

La idea, o la intención, es que el reglamento se termine de negociar en diciembre. Hay que tener en cuenta que el próximo año hay elecciones a nivel europeo, con lo cual todos los expedientes que no se cierren en esta legislatura, por decirlo de alguna manera, pueden llegar a quedar en el olvido. Con lo cual es una prioridad, tanto para la UE como para la actual Presidencia española.

Ante estos plazos, ¿está la UE corriendo demasiado con el desarrollo de este reglamento ante la necesidad de tener ya una legislación para la inteligencia artificial?

Entiendo que hay cuestiones que no se están abordando de la manera correcta y puede ser por esta premura con la que se quiere cerrar este reglamento. De todas maneras, hay que tener en cuenta que el proyecto de reglamento lo presentó la Comisión Europea en abril del 2021, por lo que tiene varios años de trabajo. Pero eso no implica que, por el contexto político o por las condiciones en las que estamos actualmente, haya que apresurarse en un reglamento de inteligencia artificial que no garantiza la protección de los derechos fundamentales.

Hay que tener en cuenta que va a ser el primero a nivel mundial que regule esta tecnología, por lo que, además, va a tener efectos más allá de la Unión Europea. Tanto la Presidencia española como la Unión Europea tienen una oportunidad única, y casi histórica, de dar ejemplo y de conseguir un reglamento que respete los derechos fundamentales y que promueva la adecuada protección de las personas frente a posibles daños de esta tecnología que  tiene un impacto muy grande en la sociedad.

Una de las claves de esta negociación es la presión que están ejerciendo las grandes empresas tecnológicas, ¿en qué están apretando durante esta fase final? 

En el tema de la clasificación de los sistemas de alto riesgo. El lobby de las grandes compañías tecnológicas ha conseguido una vía de escape respecto de la aplicación de esta legislación. Este reglamento divide a los sistemas de inteligencia artificial en cuatro tipos. Los sistemas de alto riesgo son los que van a tener la mayoría de las obligaciones, mientras que el resto tienen obligaciones mínimas. Con lo cual, si se clasifica mal, no va a tener que cumplir con muchas de las obligaciones que impone el reglamento. De ahí la importancia de esta clasificación. 

El Observatorio Corporativo Europeo, que hace un control del lobby, ha publicado que las grandes tecnológicas dedicaron solamente el año pasado 113 millones de euros para influir en los procesos legislativos europeos. Esta cifra sirve de ejemplo para demostrar su capacidad de influencia.

"El reglamento europeo de inteligencia artificial no garantiza la protección de los derechos fundamentales"

De ser un éxito presión de las empresas para que se deje esta evaluación en sus manos, ¿qué implicaría? 

Se pondría en riesgo la efectividad del reglamento. Si una empresa desarrolla un sistema de inteligencia artificial que puede llegar a tener un impacto alto en los derechos fundamentales de las personas pero en su autoevaluación se considera que no, que es un sistema de riego medio o bajo, entonces todas las obligaciones que este reglamento tiene para proteger a las personas no las va a tener que cumplir. De ahí la importancia de esta clasificación y que sea controlada por las autoridades. Por ejemplo, un sistema de inteligencia artificial que se desarrolla en un ámbito que tenga impacto sobre los derechos laborales de las personas, si no es clasificado como un sistema de alto riesgo no va a tener que hacer ni siquiera un estudio de impacto de derechos fundamentales, ni hacer una evaluación de riesgos y ni planificar medidas de mitigación frente a esos riesgos. 

En su declaración señalan la preocupación sobre la identificación biométrica, los sistemas para realizar perfiles o sistemas de evaluación y perfilado en el contexto de la migración. La propuesta del Parlamento Europeo los vetaba. ¿Se han producido cambios en este apartado durante la negociación?

Es un tema muy preocupante de las negociaciones. En el caso del reconocimiento biométrico en el espacio público, en la propuesta original estaba prohibido pero había excepciones muy amplias, como la seguridad nacional o la búsqueda de menores. Básicamente, se permitía su uso en el espacio público para combatir este tipo de delitos de gravedad. Y esa línea se mantuvo en el Consejo. El Parlamento Europeo en su posición de junio lo que hizo fue quitar esas excepciones y prohibirlo totalmente, con una excepción: para el caso que sea posterior, es decir que se tenga que hacer una revisión por un delito que ya sucedió. En las negociaciones este punto aún no se ha tocado pero se sabe que va a generar mucho conflicto entre los Estados miembros y los europarlamentarios. Se va a analizar en el trílogo que está planificado para finales de octubre.

¿Cuál es su postura con respecto a esta identificación biométrica?

Desde la sociedad civil, lo que pedimos es que se prohíba totalmente el reconocimiento biométrico en espacios de acceso público porque entendemos que viola derechos fundamentales. 

Si la inteligencia artificial puede poner en peligro derechos fundamentales a nivel global, ¿cuál sería el peor escenario al que nos podríamos enfrentar? 

Estamos viendo casos de desinformación en lo que tiene que ver con los deepfakes, que tienen que ver con el derecho fundamental a acceder a información que sea veraz. Es una cuestión que se tiene que regular y que en la propuesta original de la Comisión Europea la inteligencia artificial generativa ni siquiera estaba prevista. Y también el uso del reconocimiento biométrico.

Europa tiene la posibilidad de marcar una tendencia y, lo que hay que tener en cuenta, es que no debería admitir para fuera, por decirlo de alguna manera, sistemas que internamente consideran que tienen que estar prohibidos.

El reconocimiento biométrico en espacios de acceso público viola derechos fundamentales

Porque el reglamento permite que se desarrollen en Europa sistemas que están prohibidos en la UE para usarlos fuera del espacio comunitario…

Exacto. Por ejemplo, pongamos que Europa prohíbe el reconocimiento biométrico en espacios públicos, esperemos sin excepciones tal y como estableció el Parlamento. Pero luego admiten que se usen fuera de la UE sistemas creados en la UE y que estamos prohibiendo en la UE porque consideramos que van en contra de la Carta de los Derechos fundamentales.

Porque, la inteligencia artificial, entre otras cosas, puede manipular a personas en contextos de vulnerabilidad como a personas migrantes o racializadas.

No sólo puede manipular sino también ampliar la discriminación. Como Coalición pedimos que se prohíba el reconocimiento de las emociones no solamente en general sino también en contextos migratorios en lo que tiene que ver con la policía predictiva porque está probado, no solamente que esos sistemas de inteligencia artificial tienen tasas de errores muy altas, sino que también perpetúan discriminaciones que vienen desde la sociedad con lo cual son sistemas que son muy peligrosos para las personas que son más vulnerables. 

"La inteligencia artificial no sólo manipula también amplia la discriminación"

Ante este escenario, ¿cómo se puede mejorar el reglamento europeo de inteligencia artificial? 

En primer lugar, la necesidad de que las empresas no autoevaluen el riesgo de su sistema, sino que los sistemas que se consideran que están en áreas de alto riesgo que directamente sean considerado de alto riesgo y que tengan que cumplir con todas las obligaciones que impone el reglamento desde supervisión humana hasta evaluación de riesgo. 

En segundo lugar, que no se quite el estudio de impacto de derechos fundamentales que incorporó el Parlamento Europeo. Entendemos que esto se tiene que mantener porque es la única manera de asegurarse que el implementador y el desarrollador de un sistema se asegure de que su sistema no afecte los derechos fundamentales.

En tercer lugar, hay prácticas que no deberían ser admitidas porque directamente colisionan con derechos fundamentales como es el reconocimiento biométrico remoto en espacios de acceso público porque puede ampliar la discriminación, el racismo, la pobreza. 

Y, por último, entendemos que es necesario que se reconozcan derechos como reclamar frente autoridades públicas en casos de incumplimientos al reglamento y de poder acudir a los tribunales frente a un daño que haya sufrido ya sea de manera individual como de forma colectiva. Es necesario que estos derechos sean reconocidos para que las personas también puedan tener niveles adecuados de protección frente a un sistema que les pueda producir un daño.

Organizaciones civiles piden a la UE que no ceda a la presión de las tecnológicas sobre inteligencia artificial

Ver más

¿Qué retos tenemos por delante con la inteligencia artificial?

Más allá de la regulación, está la educación. Es necesario educar a las personas porque estos sistemas de inteligencia artificial ya están con nosotros y hay muchas personas que no están al tanto. Esta tecnología se ha popularizado y ya está a mano de las personas, cómo es el caso de Chat GPT que también tiene problemas de discriminación y de desinformación. 

Otra cuestión es la transparencia. Estamos hablando de sistemas que, en algunos casos, se quieren implementar en ámbitos muy delicados, como la policía predictiva, la migración o los espacios de acceso público. Tiene que haber transparencia total sobre qué sistemas se están utilizando y cómo las personas hemos sido afectadas por ellos. Tenemos que saber si, por ejemplo, se están usando en el sector público para determinar nuestro acceso a determinados servicios públicos o subvenciones. Tenemos derecho a saber y derecho a la transparencia.