Coherencia no es sinónimo de verdad, pero tendemos a confundir ambos conceptos. Cuánto más coherente es un discurso, ya sea oral o textual, más fácil es que lo tomemos por verdadero y más convincente nos parecerá. Y confundir coherencia con verdad puede llevarnos a cometer errores desastrosos.
Un ejemplo perfecto de esta confusión es el ChatGPT de OpenAI. Sus desarrolladores han optimizado sus modelos lingüísticos con esmero para conseguir textos, que no solo son gramaticalmente correctos sino que son tersos y hasta elocuentes. Encadenan frases de manera ágil, generando así una fascinante y persuasiva impresión de razonamiento.
Al mismo tiempo, ese chat de inteligencia artificial (IA) no se limita a copiar y pegar textos existentes, sino que, en base a la información adquirida en su entrenamiento, realmente genera textos exnovo.
Algunas personas han quedado tan alucinadas que se habla ya del fin de Google, de estar un paso de la Inteligencia Artificial General (AGI), en la que los sistemas son comparables en inteligencia a los seres humanos. Algunos, con aún mayor osadía, ven razones para dar la bienvenida a la singularidad, ese estadio de desarrollo tecnológico en el que esta trasciende la inteligencia y el control humanos. Este encantamiento suele ir acompañado del emoji de la cabeza que explota.
Somos nosotros mismos, los humanos, quienes dotamos de significado a estos textos, que, en sentido estricto, no son producto del razonamiento sino de vectores probabilísticos
Somos nosotros mismos, los humanos, quienes dotamos de significado a estos textos, que, en sentido estricto no son producto del razonamiento sino de vectores probabilísticos. Uno de los aspectos que más debería preocuparnos a estas alturas es precisamente esta capacidad de generar textos que se perciben como tremendamente coherentes y de enorme eficacia persuasiva. Pero tal como está implementado, a efectos prácticos y si queremos usarlo de manera responsable, ChatGPT es poco más que un juguete para esas tardes en que ya estamos cansados del humor de TikTok, de rifirrafes tuiteros o de la última serie de moda.
Sesgos, errores matemáticos y de razonamiento inferencial
La veracidad de una noticia o de un artículo científico no se mide por la coherencia del texto, sino por la credibilidad de las fuentes, por la fortaleza de las evidencias y la solidez de los argumentos. Y es aquí donde encontramos un gran problema con ChatGPT. Un problema que no es el único, ya que hay otros documentados como los sesgos discriminatorios o, curiosamente, los errores matemáticos y de razonamiento inferencial que contienen algunas de sus respuestas. Por ejemplo, “no saber” si Lincoln y su asesino estaban en el mismo continente en el momento del asesinato.
La veracidad de una noticia o de un artículo científico no se mide por la coherencia del texto, sino por la credibilidad de las fuentes, por la fortaleza de las evidencias y la solidez de los argumentos. Y es aquí donde encontramos un gran problema
Aquí nos enfocaremos en el problema de sonar tremendamente convincente. Por un lado, sus fuentes de entrenamiento son opacas. No sabemos de dónde ha sacado la información que utiliza para explicarnos las ideas principales del Tractatus Logico-Philosophicus de Wittgenstein o cómo funciona un coche eléctrico. No podemos verificarlas y establecer si son de fiar. Pero ese es el menor de los problemas.
Recomendar libros que no existen
Al usar muchos textos diferentes para generar uno nuevo, es fácil que el programa recombine segmentos de textos que conceptualmente son como el agua y el aceite y que cree una explicación con errores importantes. Así, ChatGPT nos ha recomendado un libro que no existe, cuyo supuesto título no es más que un “cadáver exquisito” construido con los títulos de dos libros diferentes y cuyo supuesto autor es un tercero no relacionado. O cuando le pedimos que resuma las diferencias y similitudes entre dos autores, acaba asignando, erróneamente, opiniones del primer autor al segundo o viceversa. El problema añadido es que las respuestas erróneas a estas preguntas solo son evidentes para quienes ya saben del tema.
El sistema puede resultar terco y recalcitrante de una manera muy curiosa. Si le pedimos que genere una nueva respuesta, nos ofrecerá respuestas que, manteniendo un tono de total certidumbre, pueden ser del todo o parcialmente contradictorias con las generadas anteriormente, y que habían sido comunicadas con similar firmeza y certidumbre.
La interacción con el sistema evoca los diálogos de Sócrates con el sofista Hipias. Tanto Hipias como ChatGPT muestran una perturbadora inconstancia en sus argumentos, pero, a diferencia de Hipias, ChatGPT no “concede” error alguno y lo suyo es más una simple violación del principio de no contradicción. Digamos que más que a un sofista, se parece más a un ‘enteradillo’ de Twitter.
La célebre frase “Si he podido ver más lejos que otros es porque me subí a hombros de gigantes”, frecuentemente atribuida a Newton —aunque existe una viva polémica sobre su origen— celebra y reconoce las deudas intelectuales que tenemos con quienes nos precedieron. Al presentar un batido, un remix, de conclusiones e ideas inestables, ChatGPT rompe radicalmente con esa valiosa tradición. Decimos radicalmente, porque incluso si nos topáramos con una idea que resulta prometedora o inspiradora, resultaría virtualmente imposible descubrir su origen.
¿Generación de noticias falsas a gran escala?
Los peligros que en su momento aireó OpenAI —y que ahora la propia empresa parece haber olvidado— de cómo esta máquina sería una terrible generadora de noticias falsas también son muy exagerados. Cierto, la coherencia intrínseca del programa la hace ideal para generar ese tipo de textos, pero a los humanos también se nos da muy bien generarlos, así que no hay ningún tipo de escalada cualitativa de esos subproductos digitales.
Además, lo que hace que una noticia falsa sea problemática no es la habilidad incomparable de la entidad que la genere —la mayoría de noticias falsas o de textos de clickbaits son repetitivos y facilones— sino cómo se distribuyen en las redes sociales digitales y ahí ChatGPT no aporta nada novedoso en cuanto a la creatividad o el ingenio necesarios para crear estos contenidos. La diferencia, sin embargo, puede estar, de implementarse en la práctica e integrarse con otros sistemas, en la facilidad que ofrece para crear estos contenidos a gran escala.
Pero ello no significa que ChatGPT sea completamente inútil. A continuación un listado de posibles campos de actuación en su versión actual:
- Estudiantes gandules que quieran un substituto al Rincón del Vago, con el extra de que el texto no será localizable por detectores de plagios. De manera más responsable, podría servir para generar borradores de documentos que contengan elementos estándar (por ejemplo un email para excusarse por no poder asistir a un congreso o un contrato de alquiler).
- Poetas, letristas o novelistas mediocres que se encuentran en un bloqueo de escritor y piden unas líneas de texto a ChatGPT para así avanzar en su proyecto. Aunque naturalmente también es posible que artistas más serios lo puedan utilizar como ‘material creativo’.
- Administradores de granjas de clicks que quieran ahorrarse el sueldo -probablemente mísero- que pagan a sus copys y tener un generador de noticias falsas y listados inanes, aunque por ahora la mano de obra para darle al botón de “publicar” seguirá siendo necesaria, ya que ChatGPT no está integrado con gestores de contenido.
Siendo optimistas, una futura versión de este sistema podría aportar cierto valor. Para ello debería ser más robusto y fiable, y sus creadores deberían ofrecernos maneras para verificar que esta robustez y fiabilidad es tal
Siendo optimistas, una futura versión de este sistema podría aportar cierto valor. Para ello debería ser más robusto y fiable, y sus creadores deberían ofrecernos maneras para verificar que esta robustez y fiabilidad es tal (por ejemplo, facilitando documentación acerca de los datos de entrenamiento además de fuentes verificables en los resultados). Lo que este sistema NO puede hacer es ser autor de argumentos, ya que para serlo, se requiere querer decir algo y comprender lo que uno está diciendo.
Estos son los diez avances científicos de 2022 según ‘Science’, y el Webb está el primero
También hace falta tener una voz mínimamente constante en el tiempo, que por lo menos se haga cargo de lo que dice. En suma, poseer una cierta capacidad de juicio y una intención comunicativa.
Sin embargo, y dicho con cautela, no está nada claro que estos sistemas tengan estas capacidades. Mediante medios probabilísticos, ChatGPT sí que puede decirnos que Lincoln fue apuñalado, pero es incapaz de inferir mediante sentido común que para apuñalar a alguien es necesario estar a su lado. No debemos dejarnos llevar por el seductor encantamiento de la elocuencia basada en correlaciones. ChatGPT es un desarrollo experimental, técnicamente elogiable y ciertamente entretenido, pero, bien mirado, no justifica que a tantos les explote la cabeza y vean en dicho sistema el comienzo de una nueva era de la creatividad y la inteligencia.
Este artículo fue publicado originalmente en la Agencia Sinc, la agencia de noticias científicas de la Fundación Española para la Ciencia y la Tecnología.
Coherencia no es sinónimo de verdad, pero tendemos a confundir ambos conceptos. Cuánto más coherente es un discurso, ya sea oral o textual, más fácil es que lo tomemos por verdadero y más convincente nos parecerá. Y confundir coherencia con verdad puede llevarnos a cometer errores desastrosos.