Los científicos advierten de que la IA amenaza a la propia ciencia de una forma profunda y muy peligrosa. Y este no es un grito desesperado por un grupo de personas que temen quedarse sin trabajo, sino una llamada a la atención a los desarrolladores de la IA actuales.
En un nuevo ensayo, los investigadores del Instituto de Internet de Oxford sostienen que los científicos deberían abstenerse de utilizar herramientas potenciadas por LLM, como los chatbots, para ayudar en la investigación científica, ya que la inclinación de la IA a inventar hechos, combinada con la tendencia humana a antropomorfizar los motores de palabras que imitan a los humanos, podría conducir a mayores fallos de información, un destino que, en última instancia, podría amenazar el tejido de la propia ciencia.
“Nuestra tendencia a antropomorfizar las máquinas y a confiar en los modelos como narradores de la verdad semejantes a los humanos, consumiendo y difundiendo la mala información que producen en el proceso”, escriben los investigadores en el ensayo, publicado esta semana en la revista Nature Human Behavior, “es singularmente preocupante para el futuro de la ciencia”.
El argumento de los científicos se basa en la realidad de que los LLM y los muchos bots que la tecnología potencia no están diseñados principalmente para ser veraces. Como escriben en el ensayo, parecer veraz no es más que “un elemento por el que se mide la utilidad de estos sistemas”. Características como “la utilidad, la inocuidad, la eficiencia técnica, la rentabilidad [y] la adopción por parte del cliente” también importan.
“Los LLM están diseñados para producir respuestas útiles y convincentes”, continúan, “sin ninguna garantía primordial en cuanto a su exactitud o concordancia con los hechos”.
En pocas palabras, si un gran modelo lingüístico -que, por encima de todo, se enseña para ser convincente- da una respuesta persuasiva, pero no necesariamente objetiva, el hecho de que el resultado sea persuasivo anulará su inexactitud. En el proverbial cerebro de una IA, decir simplemente “no lo sé” es menos útil que dar una respuesta incorrecta.
El efecto Elizia, el gran peligro
Pero, como explican los investigadores de Oxford, el problema de alucinación de la IA es solo la mitad del problema. El efecto Eliza, es decir, la tendencia humana a dar demasiada importancia a los resultados de la IA que suenan humanos debido a nuestra propensión profundamente mortal a antropomorfizar todo lo que nos rodea, es un fenómeno bien documentado.
Debido a este efecto, ya estamos preparados para depositar demasiada confianza en la IA; si unimos esto al tono confiado que adoptan a menudo estos chatbots, tenemos la receta perfecta para la desinformación.
Al fin y al cabo, cuando un humano nos da una paráfrasis perfectamente embotellada y que suena a experto en respuesta a una consulta, probablemente estemos menos inclinados a utilizar el mismo pensamiento crítico en nuestra comprobación de los hechos que cuando hacemos nuestra propia investigación.
Es importante destacar que los científicos señalan la “traducción sin disparos” como un escenario en el que los resultados de la IA podrían ser un poco más fiables. En palabras de Brent Mittelstadt, catedrático de Oxford y especialista en ética de la IA, se trata de “un conjunto de entradas que contienen información o datos fiables, además de una petición para hacer algo con esos datos”.
“Se llama traducción de tiro cero porque el modelo no ha sido entrenado específicamente para lidiar con ese tipo de petición”, añadió Mittelstadt. En otras palabras, el modelo está más o menos reordenando y analizando un conjunto de datos muy limitado y fiable, y no se utiliza como un vasto centro de conocimientos similar a Internet. Pero eso limitaría sin duda sus casos de uso y exigiría un conocimiento más especializado de la tecnología de IA, algo muy distinto a cargar ChatGPT y lanzar algunas preguntas de investigación.
Una batalla ideológica
Además, según los investigadores, hay una batalla ideológica en el centro de este debate sobre la automatización. Al fin y al cabo, la ciencia es una actividad profundamente humana.
Externalizar demasiado el proceso científico al trabajo automatizado de la IA, dicen los investigadores, podría socavar esa arraigada humanidad. ¿Y es algo que realmente podemos permitirnos perder?
“¿Realmente queremos reducir las oportunidades de escribir, pensar críticamente, crear nuevas ideas e hipótesis, lidiar con las complejidades de la teoría y combinar el conocimiento de formas creativas y sin precedentes?”, escriben los investigadores. “Estas son las características intrínsecamente valiosas de la ciencia impulsada por la curiosidad”.
“No son algo que deba delegarse a bajo precio en máquinas increíblemente impresionantes”, prosiguen, “que siguen siendo incapaces de distinguir los hechos de la ficción”.
