Discriminación y menor privacidad, los riesgos de que vigilen tus emociones con IA como en Reino Unido

Esto no es ni el argumento de la segunda parte de Minority Report ni de un nuevo capítulo de Black Mirror. Aunque suene a ciencia ficción, lo cierto es que si te has subido a un tren o a un metro en Reino Unido en algún momento de los dos últimos años es más que probable que alguna de sus cámaras de seguridad haya calculado tu "satisfacción" a partir de tus expresiones gracias al reconocimiento facial. Según documentos obtenidos por la ONG Big Brother Watch y publicados a principios de esta semana por la revista Wired, la empresa pública responsable de la infraestructura ferroviaria británica, Network Rail, habría estado probando en secreto un sistema de videovigilancia con inteligencia artificial capaz de detectar desde el género o la edad de los pasajeros hasta si están contentos, tristes o enfadados o si tienen pensamientos suicidas. 

Con el objetivo de detectar de forma automatizada accidentes o conductas peligrosas, actos vandálicos o atentados, las cámaras de circuito cerrado de algunas estaciones de tren y de metro de Londres, como Waterloo o Euston, y también de otras ciudades, como Manchester, Reading o Leeds, se conectaron a Rekognition, la plataforma de análisis facial de Amazon Web Services, los servicios de computación en la nube propiedad de Amazon. Gracias al aprendizaje automático, esta tecnología utiliza, por un lado, una serie de sensores para reconocer objetos y que permite saber si hay desde usuarios saltando a las vías o aglomeraciones en los andenes, pasando por comportamiento "antisociales" como correr, gritar o fumar, hasta suelos resbaladizos o papeleras llenas. 

Pero, por otro lado, estos sensores también son capaces de registrar "rasgos demográficos" para elaborar "un análisis estadístico del rango de edad y de género" además de "analizar algunas emociones", como felicidad, tristeza o enfado. ¿Cómo funcionan estos sistemas? "Estas cámaras funcionan con unos algoritmos que usan redes neuronales convolucionales —neuronas artificiales con campos receptivos muy similares a las neuronas de un cerebro biológico— para identificar las características faciales y recoger las expresiones y los micro gestos faciales", explica Ximo Lizana, profesor de Neurociencia, Tecnología e Innovación de la Universidad Europea. 

Este experto detalla que, tras "analizar grandes cantidades de datos" y recopilar "millones de imágenes fáciles de miles de micro expresiones", logran "identificar los patrones de las emociones". "Por ejemplo, que las curvaturas de los labios hacia arriba es una sonrisa que se relaciona con la alegría mientras que un ceño fruncido se vincula con el enfado", asegura Lizana. 

Aumentar la seguridad, mejorar la experiencia de cliente y publicidad personalizada

Oficialmente, desde Network Rail, lo único que confirman a preguntas de Wired es que usan "una gama de tecnologías avanzadas" en sus estaciones para "proteger" a pasajeros, personal e infraestructuras de "delincuencia y otras amenazas". Además, destacan que lo hacen "cumpliendo la legislación" y en colaboración con "policía" y "servicios de seguridad". Y lo cierto es que la revista ya adelantó en febrero que estas prácticas ya se estaban implementando, aunque hace cuatro meses no se incluía el componente emocional. 

Según apunta Wired, no está claro cuán "ampliamente" se implementó este análisis ya que los documentos detallan que estos usos deben "verse con más precaución", mientras que los informes de las estaciones explican que es "imposible validar la precisión". No obstante, lo que sí figura en los papeles obtenidos es una hoja de cálculo que enumera hasta 50 posibles casos de uso de esta inteligencia artificial, aunque matiza que no todos parecen que fueron usados durante estas pruebas. Uno de ellos, por ejemplo, el sistema de "riesgo de suicidio" se probó solo en la estación de Euston en Londres. 

Aunque, lo preocupante es que, más allá de mejorar la seguridad, los documentos filtrados también señalan a otros posibles usos: desde medir la satisfacción para mejorar la experiencia del cliente hasta mostrar publicidad personalizada en las pantallas. Es decir, se abre la puerta a hacer caja a costa de los datos de los viajeros. "Pueden micro segmentar y crear narrativas personalizadas para cada usuario en función del estado de ánimo detectado. Así se puede manipular sus sentimientos a la hora de comprar pero también en un proceso electoral", reconoce Ximo Lizana. Para este profesor, "los beneficios para el usuario son debatibles porque se puede entender que influyen en su privacidad". 

El precedente de WorldCoin en España

Y es que la privacidad es uno de los grandes debates que abre esta tecnología tanto a nivel ético como legal. Si en vez de Reino Unido, estos sistemas se estuviesen probando en cualquier estado de la UE, incluida España, no estaría tan claro si su uso sería lícito debido al reglamento europeo de protección de datos (RGPD) y a la nueva ley de inteligencia artificial de la UE, que se calcula que podrá comenzar a aplicarse a partir del próximo mes de agosto de forma progresiva hasta 2026 —cuando entrará completamente en vigor—. "Estos dos reglamentos europeos cada vez más van a ir más de la mano. Puede ser que dentro del nuevo reglamento sea viable a nivel de tecnología, pero no vaya en la línea de lo que permite la protección de datos", explica Eduard Blasi, divulgador del canal Tech and Law en Instagram y abogado data guardian, que, eso sí, argumenta que "no tendría recorrido la vía penal" para denunciar casos similares.

Vayamos entonces por partes. Atendiendo al reglamento europeo de protección de datos, si se trata "realmente" de un sistema con tecnología biométrica que identifique al sujeto o que se aplique en tiempo real, sería un uso prohibido porque "son datos especialmente sensibles". "La Agencia Española de Protección de Datos (AEPD) cierra la puerta a la mayoría de estos tratamientos porque son bastantes invasivos, a no ser que se demuestre que se logra una completa anonimización", defiende Blasi que recuerda la reciente resolución sobre WorldCoin, que logró paralizar este proyecto que escaneaba iris a cambio de criptomonedas. 

Además, atendiendo al RGPD es importante conocer el organismo que hay detrás ya que, dependiendo de si son públicas o privadas, las multas "no son iguales". "Una empresa pública puede arriesgar más porque son sanciones administrativas, mientras que una entidad privada entraría en un régimen sancionador importante", indica Blasi. 

La nueva ley de inteligencia artificial

Y después también habría que tener en cuenta cómo afectaría la ley de inteligencia artificial. De primeras, la nueva legislación prohíbe ciertas aplicaciones de esta tecnología que atenta contra "los derechos de la ciudadanía". Son los que se conocen como casos de riesgo "inasumible", entre los que se encuentran los sistemas de categorización biométrica basados en características sensibles, la captura indiscriminada de imágenes faciales de internet o grabaciones de cámaras de seguridad para crear bases de datos de reconocimiento facial, o el reconocimiento de emociones en el lugar de trabajo y en las escuelas. No obstante, se prevén una serie de excepciones vinculadas a la "seguridad nacional" que no han gustado a ONG y asociaciones civiles en el caso del uso de sistemas de vigilancia biométrica y de reconocimiento facial y de emociones ya que se omite su uso en contextos policiales, fronterizos y migratorios. 

"No sería contrario al reglamento porque no está en vigor. Enmarcado después, podría ser todo lo contrario", apunta Blasi. Por un lado, "viendo las prohibiciones expresas", sería "un uso dudoso, siempre y cuando se use biometría de los sujetos". Y, por otro, basándose en lo invasiva que es esta tecnología sería un uso "arriesgado" y, por tanto, "prohibido expresamente". Eso sí, para este experto es clave el tratamiento que se haga de los datos y saber "qué tecnología hay detrás": "No es lo mismo recabar emociones de forma aleatoria y anonimizada que identificar una en concreto de un individuo en particular". 

No obstante, cabe tener en cuenta que Reino Unido ya no forma parte de la UE desde el 2021 tras el Brexit. Eso sí, su regulador de datos, la Oficina del Comisario de Información, emitió en 2022 una declaración pública que advertía contra el uso del reconocimiento de emociones ya que argumentaba que estas tecnologías eran "inmaduras", podrían "podrían discriminar a las personas" y "pueden no funcionar todavía, o nunca funcionar".

Afecta a la privacidad de los pasajeros y puede generar discriminaciones

Bastante cuestionado su uso en la UE y en un limbo en Reino Unido, lo cierto es que el uso del reconocimiento facial que detecta emociones en estaciones de transporte abre una serie de interrogantes y, sobre todo, de peligros. Por un lado, por la falta de transparencia y el debate sobre el uso de la inteligencia artificial en espacios públicos. Una de las preguntas que figuran en la documentación obtenida es: "¿Es probable que algunas personas se opongan o lo encuentren intrusivo?". A lo que un miembro del personal responde que "normalmente no le importa a nadie". 

"Afecta a la privacidad de los usuarios, porque son monitoreados sin su consentimiento", apunta Ximo Lizana que recuerda además que los datos biométricos es información "muy sensible" que tras ser recogida tiene que ser almacenada y que, por tanto, "puede ser hackeada y robada". "El debate entre seguridad y privacidad es importante y con puntos de colisión. Hay que aprovechar la tecnología para mejorar ciertos aspectos de la seguridad, pero buscando siempre el balance e intentar evitar tratamientos invasivos", reconoce Blasi. 

Por otro lado, el peligro de los falsos negativos, sesgos y discriminación porque no ha existido un buen entrenamiento de los algoritmos. Durante los últimos años, diferentes estudios y análisis han ido poniendo sobre la mesa todos los sesgos sociales que arrastra la inteligencia artificial: es racista, machista y con prejuicios sociales. Es decir, suele identificar de forma errónea en un porcentaje mucho más elevado a las personas racializadas y, más en concreto, a las mujeres racializadas. El motivo es sencillo: funcionan mucho mejor identificando rostros de hombres blancos porque son la mayor cantidad de los datos usados. 

La hipervigilancia: ¿hacia un gran hermano?

Y, por último, el problema de la expansión de la vigilancia y esa fina línea que separa el aumento de la seguridad de la pérdida de la privacidad por el escrutinio masivo. "La tecnología no es ni buena ni mala, tenemos que aprender a utilizarla. La ley de inteligencia artificial impone prohibiciones a los usos demasiado invasivos, por lo que no deberíamos pensar en llegar a un momento de gran hermano", sostiene Eduard Blasi. 

Aunque, lo cierto es que en todo el mundo se utilizan cada vez más sistemas de seguridad con inteligencia artificial similares a los que se han probado en la red de ferrocarril de Reino Unido para monitorizar a multitudes. Por ejemplo, durante los Juegos Olímpicos de París, que se celebrarán a partir del próximo mes de junio, la videovigilancia con esta tecnología controlará a miles de personas y tratará de detectar multitudes, el uso de armas y objetos abandonados.

Suplantación de identidad o discriminación, los riesgos de volar 'por la cara' sin DNI ni tarjeta de embarque

Ver más

En España, por su parte y mucho antes del caso de WorldCoin, la justicia ya impidió en 2021 que Mercadona implementase un sistema de reconocimiento facial en sus establecimientos para detectar a personas con una orden de alejamiento contra sus tiendas o trabajadores. Además del varapalo judicial, la cadena de supermercados valenciana tuvo que pagar una multa de la AEPD de 2,5 millones de euros por la puesta en marcha de este proyecto piloto durante varios meses en 48 tiendas.

"La seguridad es necesaria y la vigilancia omnipresente del gran hermano de George Orwell es ya una realidad con las cámaras de seguridad o los satélites", asegura Ximo Lezana que, sin embargo, señala que el punto más peligroso es "la mala aplicación de estos sistemas" como pasa con el sistema de crédito social chino que otorga puntos por consumir y ser un buen ciudadano, y te los quita si eres crítico. 

No obstante, lo peor aún está por llegar. "La supremacía cuántica va a destruir toda las medidas de protección tal y como la conocemos hoy. Esa capacidad permitirá que se puedan crear modelos predictivos que se adelanten a lo que vas a querer y a tus propios deseos. Será como Minority Report, pero a lo bestia", reconoce Lezana que, eso sí, no intuye un futuro al estilo Terminator: "La inteligencia artificial no te mata, te engaña".