Si introduces el documento jurídico más importante de Estados Unidos en una herramienta diseñada para detectar texto escrito por modelos de inteligencia artificial como ChatGPT, te dirá que es casi seguro que el documento fue escrito por una IA.
Pero, a menos que James Madison fuera un viajero en el tiempo que escribió la Constitución americana, esto no puede ser. Entonces, ¿por qué las herramientas de detección de escritura por IA dan falsos positivos?
En Ars Technica han hablado con varios expertos para averiguarlo y nosotros te traemos lo que han sacado en claro tras analizarlo en profundidad.
¿La Constitución y la Biblia escrita por una IA?
Por muy tentador que resulte confiar en las herramientas de IA para detectar la escritura generada por la IA, hasta ahora las pruebas han demostrado que no son fiables.
Debido a los falsos positivos, no se puede confiar en los detectores de escritura de IA como GPTZero, ZeroGPT y el clasificador de texto de OpenAI para detectar texto compuesto por grandes modelos de lenguaje (LLM) como ChatGPT.
Si le das a GPTZero una sección de la Constitución de EE. UU., te dice que el texto “probablemente está escrito enteramente por IA”. A lo largo de los últimos seis meses, se han hecho virales en las redes sociales varias capturas de pantalla de otros detectores de IA que mostraban resultados similares, inspirando confusión y un montón de bromas sobre si los padres fundadores eran robots.
Resulta que lo mismo ocurre con los pasajes de la Biblia, que también aparecen como generadas por IA. Para explicar por qué estas herramientas cometen errores tan obvios primero tenemos que entender cómo funcionan.
Conceptos básicos de la detección de IA
Los distintos detectores de escritura con IA utilizan métodos de detección ligeramente diferentes, pero con una premisa similar: hay un modelo de IA que ha sido entrenado en un gran corpus de texto (compuesto por millones de ejemplos de escritura) y un conjunto de reglas conjeturadas que determinan si es más probable que la escritura sea generada por humanos o por IA.
A continuación, el sistema utiliza propiedades como la “perplejidad” y la “explosividad” para evaluar el texto y realizar su clasificación.
En el aprendizaje automático, la perplejidad es una medida de cuánto se desvía un texto de lo que un modelo de IA ha aprendido durante su entrenamiento. Y la perplejidad es una función que mide cómo de sorprendente es este lenguaje basándome en lo que he visto.
La idea que subyace a la medición de la perplejidad es que, a la hora de escribir un texto, los modelos de IA como ChatGPT recurrirán de forma natural a lo que mejor conocen, que proviene de sus datos de entrenamiento.
Cuanto más se acerque el resultado a los datos de entrenamiento, menor será la perplejidad. Los humanos somos escritores mucho más caóticos, o al menos esa es la teoría, pero también podemos escribir con una perplejidad baja, sobre todo cuando imitamos el estilo formal que se utiliza en derecho o en ciertos tipos de escritura académica.
Si el lenguaje de un texto no es sorprendente según el entrenamiento del modelo, la perplejidad será baja, por lo que será más probable que el detector de IA clasifique ese texto como generado por IA.
Esto nos lleva al interesante caso de la Constitución de Estados Unidos. En esencia, el lenguaje de la Constitución está tan arraigado en estos modelos que lo clasifican como generado por IA, creando un falso positivo.
El creador de GPTZero, Edward Tian, declaró a Ars Technica: “La Constitución de EE. UU. es un texto que se introduce repetidamente en los datos de entrenamiento de muchos grandes modelos lingüísticos. Como resultado, muchos de estos grandes modelos lingüísticos están entrenados para generar textos similares a la Constitución y otros textos de entrenamiento utilizados con frecuencia. GPTZero predice el texto que probablemente generarán los grandes modelos lingüísticos, y así se produce este fascinante error”.
El problema es que es totalmente posible que los escritores humanos también creen contenidos con baja perplejidad, lo que socava profundamente la fiabilidad de los detectores de escritura de la IA. Así, una vez más, la IA sale muy mal parada.
Algunos de los enlaces añadidos en el artículo forman parte de campañas de afiliación y pueden representar beneficios para Softonic.
