No solo es la tecnocasta, también los gobiernos: por qué los algoritmos de la IA deben ser transparentes

Estamos acostumbrados a que la magia de los algoritmos decida por nosotros qué publicaciones vemos en redes sociales, qué series nos recomienda nuestro servicio de streaming de confianza o qué nos ordena los resultados en nuestras búsquedas en Internet. Pueden parecer inofensivos, pero no. También hay algoritmos que deciden qué víctima de violencia de género recibe protección, que gestionan la admisión universitaria y que colocan a cada estudiante en uno u otro grado, o que eligen quién puede acceder al bono social eléctrico. Aunque suene a usos que podrían protagonizar un capítulo de Black Mirror, lo cierto es que son ejemplos reales de sistemas automatizados implementados por las administraciones públicas en España.

Se tratan, en concreto, del sistema VioGén, del algoritmo del Distrito Único Andaluz o del programa BOSCO. Estos tres son algunos de los más conocidos, los que saltan a los titulares de los medios, pero hay otros muchos que pasan desapercibidos y que también toman decisiones sensibles que influyen en nuestro día a día desde la máxima opacidad y que operan sin control externo tomando decisiones, en muchos casos, injustas.

"Un algoritmo transparente es aquel en el que podemos analizar cómo ha tomado la decisión", indica Ana Valdivia, profesora e investigadora en Inteligencia Artificial, Gobierno y Políticas en el Oxford Internet Institute de la Universidad de Oxford.¿Podemos convertirlos en herramientas transparentes y saber, o entender, cómo funcionan estos algoritmos? Tanto en el caso del sector público como del privado, la respuesta es prácticamente siempre que no.

"Son cajas negras", señala Lucía Ortiz de Zárate, investigadora en Ética y Gobernanza de la Inteligencia Artificial en la Universidad Autónoma de Madrid. "Muchas veces el problema no son los algoritmos, muchos transparentes. El problema son las instituciones que no son transparentes, son muy opacas porque cuando implementan uno no dejan ver el código o no explican cómo se ha implementado", apunta la profesora Valdivia, que además, también recuerda que "la mayoría de casos las administraciones utilizan algoritmos entrenados por empresas privadas": "Existe una tecnodependencia".

Mientras las empresas apelan al derecho de propiedad intelectual frente a la competencia para ocultar cómo es el código fuente de sus algoritmos de la misma forma que Coca-Cola mantiene desde hace décadas en secreto su fórmula o su receta, la administración pública hace lo mismo y recurre también a la excusa de la seguridad nacional. "Hay muchos derechos en juego, pero esto no quita que la solución sea la falta de transparencia. Se pueden pensar en alternativas para acceder a esta información con ciertas limitaciones", plantea Anabel Arias, responsable de derechos digitales de la Federación de Consumidores y Usuarios CECU y portavoz de la Coalición IA Ciudadana.

Transparentes sí, pero también explicables

¿Por qué tienen que ser transparentes? "La transparencia consiste en tener acceso a los datos y a los algoritmos que usan los sistemas de inteligencia artificial. Es decir, tanto a la información de la que se nutren y en base a la cual toman decisiones, como a las secuencias y los pasos que siguen para llegar a una decisión", indica Ortiz de Zárate. "El problema de que sean opacos es que cuando pasamos por un proceso burocrático o judicial con intervención de un algoritmo muchas veces no sabemos si el humano que ha tomado al final la decisión, porque muchas veces es el humano quién toma la decisión final, si ha tenido un entrenamiento suficiente para saber cuáles son los riesgos y las limitaciones de estas herramientas", expone Ana Valdivia.

Pero no solo tienen que ser transparentes, también tienen que ser explicables, entendibles. "Un algoritmo en bruto es como que te hablen en chino", reconoce Ortiz de Zarate que detalla que "si los datos son opacos, el ciudadano no tiene forma de apelar la decisión que toma de ninguna forma": "Y eso es esencialmente antidemocrático" porque "la ciudadanía no tiene forma de saber si están recurriendo a ilegalidades o no". Por que no hay que olvidarse que, tal y como destacan numerosos estudios e investigaciones, la inteligencia artificial arrastra sesgos humanos y es racista, machista o con ideología. 

La rendición de cuentas

Por ello, la transparencia y la explicabilidad son fundamentales para la rendición de cuentas. "Es un pilar fundamental, no solo de las democracias, sino también de los Estados de derecho", defiende Ortiz de Zárate. 

Así, si en circunstancias normales, cualquier persona puede apelar cualquier tipo de decisión con toda la información disponible, por ejemplo durante un proceso de solicitud de la beca o en una sentencia judicial, lo mismo debe suceder si por el medio un algoritmo influye en la decisión. "Necesito tener acceso y conocer los datos que se han utilizado, y también los criterios que se han seguido. Si los datos y los algoritmos son opacos, no se puede contestar a esa decisión, no se puede saber si están incurriendo en ilegalidades. Y esto es esencialmente antidemocrático", argumenta Ortiz de Zárate. 

Y, en el caso de la administración pública, la situación es especialmente sangrante. "Se están tomando las decisiones que están afectando diariamente nuestra vida a través de estos sistemas con temas muy sensibles como es la seguridad, la salud o la educación", apunta Ortiz de Zárate. "No es que los algoritmos sean opacos, porque muchas veces son muy transparentes en el sentido que muy básicos y sabemos cómo toman las decisiones, pero es cuando intentamos acceder a ellos, cuando intentamos hacer peticiones de información, nos encontramos bloqueo de las administraciones", completa Valdivia.

Un registro central de algoritmos: "No es una cuestión de tecnología, sino de derechos"

Por ello, el pasado lunes y al calor de la aprobación por parte del Consejo de Ministros anteproyecto de la ley para el buen uso y la gobernanza de la inteligencia artificial, IA Ciudadana solicitó al Gobierno la creación de un registro central de algoritmos para evitar discriminaciones en la aplicación de esta tecnología ante mecanismos automatizados que usan ya "la Policía, la Justicia, los servicios de empleo, la banca o los seguros" y que "provocan indefensión a la población".

"Es necesario porque no sabemos qué algoritmos utiliza la administración. No sabemos, por ejemplo, si vamos a pedir una ayuda al gobierno y viene denegada o aceptada si ha pasado por el proceso de un algoritmo", explica Ana Valdivia. "No sé si el registro central es supernecesario o no, pero debería ser un requisito indispensable de los sistemas que puedan ser consultados por todos cuando quisieran", matiza Ortiz de Zárate. 

La nueva norma aprobada ahora por el Ejecutivo, que transpone el reglamento de IA de la UE que entró en vigor parcialmente en agosto de 2024, incluye por tanto la obligación de crear una base de datos pública donde se registren los sistemas de IA. "Aún está en fase de elaboración en Bruselas, pero tiene que estar listo en agosto del 2026", apunta Anabel Arias. 

Pero, según detalla Civio, tiene tres vulnerabilidades críticas. La primera es que no incluyen todos los algoritmos relevantes ya que solo se incluyen lo de alto riesgo dejando fuera a muchos que afectan a derechos fundamentales. La segunda es que excluye sectores clave, como aquellos usados por  la policía, en el control de fronteras o en decisiones de inmigración, y resultaron, de facto, inaccesibles para la ciudadanía. Y, por último, la información que debe aparecer es insuficiente y no se incluirán datos básicos como el código fuente o los modelos de entrenamiento. 

Por ello, es tan necesario este registro central que, según un informe de IA Ciudadana, debe ser obligatorio, diseñado en colaboración con la sociedad civil, transparente y accesible, e incluir todos los sistemas algorítmicos utilizados por la administración pública basados en reglas y patrones. "No es una cuestión de tecnología, sino de derechos", defiende esta coalición formada por 17 organizaciones.

La idea, según detalla Arias, es que este registro sea "un primer paso" y en un futuro se puedan incorporar auditorías o sanciones. "Hay que buscar la transparencia real y evitar el transparency washing, un gesto simbólico que no cambia nada", explica esta portavoz. 

Ana Valdivia señala dos necesidades básicas en las auditorias algorítmicas. Por un lado, tener un archivo model card, un tipo de documentación que se crea para los modelos de aprendizaje automático y se proporciona con ellos: "Es básicamente un archivo que te da información sobre cómo se ha entrenado, qué tipo de modelo, qué tipo de datos, cuáles han sido las métricas... ·s como una carta de presentación de los metadatos de ese algoritmo". Y, por otro, el datasheets for datasets, es decir, "un registro de los datos y de las bases de datos con las que se ha entrenado esos algoritmos".

En Países Bajos ya cuentan con un registro con más de 600 algoritmos

Y lo cierto es que la propuesta de la Coalición IA Ciudadana no es para nada una rareza. En Europa ya hay 34 registros activos y al menos 5 en desarrollo, aunque solo cuatro países cuentan ya con registros nacionales integrales: Países Bajos, Reino Unido, Noruega y Francia. El más avanzado es el holandés que cuenta con más de 600 algoritmos registrados e incluye además APIs en tiempo real para seguimiento de actualizaciones en sistemas automatizados. 

¿Qué puede aprender el Gobierno español de estos registros? Según sostiene Arias, varias cosas. Por ejemplo, de Países Bajos, adelantarse a un escándalo como el caso SyRI, un sistema que se usaba para rastrear posibles fraudes y que fue vetado por la justicia holandesa en 2020 porque no respetaba la privacidad del ciudadano y estigmatizaba y discriminaba a la ciudadanía señalando a aquellas personas menos renta y a grupos de origen migrante. "Hubo hasta suicidios por este algoritmo", asegura esta experta. 

De Francia, en cambio, que sea central. En el país vecino, los registros están implementados a nivel regional. "No son efectivos porque no se pueden controlar ni comparar porque usan diferentes metodologías", indica Arias. Eso sí, se podría apostar por "mecanismos de operabilidad" entre ellos sobre todo porque en la Comunitat Valenciana, Euskadi o Cataluña sí que han comenzado a dar pasos en esta dirección. La Ley de Transparencia valenciana obliga a publicar aquellos mecanismos automatizados con un registro en desarrollo junto con universidades, mientras que en Cataluña ya se han publicado fichas técnicas detalladas de varios algoritmos con información sobre cómo se ha entrenado el sistema o sobre los riesgos de privacidad o discriminación.

El caso de VioGén o del simulador del IMV

Porque en el caso de España, lo cierto es que no se sabe cuántos algoritmos están en uso, en qué ámbitos operan y qué impacto tienen. Uno de los casos más graves es el caso de VioGén. 

Un estudio de Éticas alertó en en 2022 que 55 mujeres asesinadas recibieron "una orden de protección que resultó ser insuficiente", es decir, que VioGén les asignó un riesgo bajo. Una investigación publicada por The New York Times en 2024 avaló esta teoría ya que desveló que al menos 247 mujeres habían sido asesinadas tras ser evaluadas. Este mismo enero, el Gobierno puso en marcha una nueva versión del sistema de seguimiento y respuesta policial para subsanar estos fallos. 

Civio solicitó información en 2023 sobre VioGén, pero se le denegó ante el peligro para seguridad pública y para la prevención e investigación delitos. "Sabemos que el algoritmo se ha actualizado hace apenas un mes, pero seguimos sin conocer cómo se ha hecho", advierte esta organización en el informe presentado por IA Ciudadana sobre el uso de estos sistemas que adelanta además que la versión 2.0 "no aborda las deficiencias significativas del sistema identificadas". 

De algoritmos más libres a financiación pública: 9 propuestas para frenar los excesos de la tecnocasta

Ver más

En el caso del simulador del Ingreso Mínimo Vital, que es una web donde se puede comprobar si se cumplen los requisitos, hay sospechas fundadas de discriminación por motivos de raza, según denuncia un informe de Algorace de 2022. Aunque la falta de transparencia hace imposible comprobarlo, sí que se intuye ya que incluye preguntas que filtran en función de su estatus migratorio. 

El Gobierno propone una IA "transparente y humanista"

Eso sí, la Estrategia Nacional de IA, aprobada por el Gobierno en 2024, propone una tecnología "transparente y humanista", eso sí sin acciones concretas. Además, la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), que es el organismo competente, aún no opera plenamente. 

Y además, este registro, va en línea de muchas de las políticas que está implementando el propio Gobierno. Solo durante este mes de marzo, el ministro de Derechos Sociales, Consumo y Agenda 2030 anunció que quiere que las empresas detallen los algoritmos que usan para personalizar los precios y la publicidad. Desde Más Madrid, solo tres días después, se propuso en el Congreso regular los algoritmos inmobiliarios de portales como Idealista o Fotocasa para "evitar manipulaciones en los precios y proteger a consumidores y pequeños propietarios". Sin olvidarse de que la Ley Rider impone como una obligación un registro público y obligatorio para las plataformas digitales en el cual se detalle cómo funciona el algoritmo aplicado para desarrollar su actividad.