Algoritmos de destrucción masiva

Armas de destrucción matemática

Cathy O’Neil

Capitán Swing

Madrid (2018)

Tras la lectura del ensayo "Armas de destrucción matemática" (Capitán Swing), de Cathy O’Neil, uno piensa que su acrónimo ADM bien podría intercambiarse con el que pongo por título a mi breve comentario sobre este documentado y esclarecedor ensayo. Porque tanto su formación académica como su experiencia laboral colocan a esta autora en una posición privilegiada para resumir lo que realmente está pasando con los primeros pasos de la llamada inteligencia artificial (IA) pilotada por los grandes emporios capitalistas digitales. No las utopías que venden sus propagandistas para dentro de unas décadas, sino la cruda realidad.

Estos algoritmos son armas porque facilitan "… una cantidad de poder realmente significativa, y Facebook no es la única empresa que ostenta tanto poder; otras empresas que cotizan en bolsa como Google, Apple, Microsoft, Amazon y compañías telefónicas como Verizon y AT&T poseen una ingente cantidad de información sobre gran parte de la humanidad (y disponen de los medios necesarios para llevarnos por el camino que deseen)" (página 225). Un poder que crece cada año que pasa sin que por esta parte del mundo se espere a ninguna institución que pueda impedirlo.

Es ese un camino que siempre desemboca en hacer máximos los ingresos (y de forma colateral en no verse incomodados por la acción de los Gobiernos). Para conseguirlo, casi siempre sus algoritmos se diseñan para establecer recompensas o penalizaciones económicas: "Estos programas automáticos determinarán cada vez más cómo nos tratarán el resto de las máquinas: las que escogen los anuncios que vemos, deciden los precios que debemos pagar, nos ponen en la lista de espera del dermatólogo o confeccionan nuestras rutas" (página 213).

Aunque todo ello se envuelva en un celofán aparentemente neutro, el mero hecho de que tales algoritmos sean secretos de mercado, y el que desarrollen su actividad en la sombra, no presagia nada bueno. Y así, cuando la autora revisa y pone el foco en ejemplos concretos muy representativos, esa neutralidad se evapora mucho más rápido que aquellas sombras.

Por ejemplo cuando se nos relata cómo la Universidad de Phoenix se gasta más de cincuenta millones de dólares solo en anuncios de Google, con el objetivo de poder dirigirse de forma selectiva a personas pobres para tentarlos con el cebo de la movilidad social. Una máquina de capturar ingresos (vía préstamos y ayudas estatales) de alumnos que quedarán endeudados buena parte de su vida. La IA detecta a personas excluidas como carne de cañón potencial para rentabilizar la venta de un servicio educativo. Y lo hace con la colaboración de otras IA que presuntamente reconocerán esos méritos para un buen trabajo y ascenso en la escalera social.

Cuando la autora detalla los algoritmos de selección de personal nos volvemos a encontrar con que los más desfavorecidos (raza, salud, barrio de residencia, datos de solvencia, etc) serán excluidos aunque presenten las credenciales de la Universidad de Phoenix o cualquier otra accesible para personas que no formen parte de la minoría más privilegiada.

La espiral de exclusión algorítmica se amplía en círculos envolventes. Porque si de contratar un seguro de salud o de automóvil se trata, de nuevo la minería de datos (big data) a disposición del algoritmo detallará cuáles son los asegurados más rentables y los que bajo ningún concepto deben ser asegurados según la impecable lógica de la maximización de ingresos.

Incluso las probabilidades de engrosar un historial de cacheos y detenciones policiales preventivas vendrán determinadas por la prioridad que la IA otorgue a ciertas calles. En las que, no por casualidad, vivirán los recurrentes clientes que deben ser penalizados a causa de su perfil.

No es extraño que la autora de este ensayo lo cierre con esta cita, los "algoritmos que rigen todos los aspectos de nuestras vidas tienden a castigar a los pobres y recompensar a los ricos" (Cory Doctorow).

Claro que, en los tiempos que corren, no pocos verán este resultado con naturalidad, como si de la ley de la gravedad se tratase. No en vano esta implacable lógica neoliberal se inocula de forma masiva con aquello de que cada uno se merece lo que tiene, y el que no triunfa es porque no se esfuerza. Punto. Sobre esa base, el algoritmo no destruiría nada, más bien haría cumplir milimétricamente un designio de justicia social. Porque, aleluya, al tener información minuciosa y detallada de cada uno de nosotros, puede ajustarse a cada caso y tratarnos como nos merecemos.

¿Cómo nos merecemos? Tengo muchas dudas. Y creo que aquí está la clave del asunto, porque como se dice casi al final de este ensayo, hablamos de "decisiones que no se refieren únicamente a cuestiones logísticas, de beneficios o eficiencia, sino que son fundamentalmente decisiones morales" (página 269).

Lo diré de forma gruesa: en vez de una inteligencia artificial que actúa en función de muchas circunstancias concretas de una persona, lo que más bien necesitamos es una inteligencia social que actúe como si esas circunstancias no se diesen. Parece un juego de palabras pero la cosa es seria.

Me refiero a lo que se conoce como el criterio del velo de la ignorancia. Según tal principio de justicia, debiéramos actuar como si nadie conociese su lugar en la sociedad, su posición de clase o estatus social, y tampoco nadie conociese su suerte en la distribución de activos y habilidades naturales, su inteligencia, su fuerza, y cosas similares. Pues si un individuo desconoce cómo terminará en su sociedad, es probable que no privilegie a una determinada clase de personas, sino que más bien desarrolle un esquema de justicia igualitario.

En ello se basa, a nada que reflexionemos, un sistema universal y público como nuestro Servicio Nacional de Salud. Algo que los más privilegiados evitan financiar porque dicen estar pagando el coste de los que "no se cuidan como es debido". O un sistema público de pensiones mínimas no contributivas. O la enseñanza obligatoria y pública. O, a no tardar, las rentas básicas universales. Son cosas que a uno es más probable le gustarían que existiesen en su país de no saber en qué familia, región, con qué salud y con qué habilidades naturales, … le deparará la suerte. 

Entre el entusiasmo y el miedo: sobre utopías tecnocráticas

Ver más

Justo lo contrario de lo que gestionan los algoritmos. Por eso no es extraño que retroalimenten las desigualdades sociales y se empecinen en no autocorregir sus sesgos. Porque lo que para una visión crítica son sesgos, para la IA serían consecuencias inevitables. Destrucción masiva.

En la esencia de muchos algoritmos anida una eficacia a la que le trae al pairo la equidad. La IA y los algoritmos se mueven en las antípodas del velo de la ignorancia como criterio de justicia social. En vez de beneficiar, o al menos no perjudicar, a los que han tenido peor fortuna (genética, familiar, social, etc.) los machacamos cada vez más. Cosechamos destrucción masiva, también del sensato criterio de justicia de John Rawls.

Albino Prada es ensayista e investigador.