¿Amigos virtuales? Los riesgos de la IA para los adolescentes

Un estudio reciente realizado por Common Sense, una destacada organización de vigilancia tecnológica en EE.UU., ha establecido que los compañeros de inteligencia artificial generativa presentan riesgos significativos para los menores y deberían ser prohibidos.

A medida que la popularidad de aplicaciones como Nomi, Character AI y Replika ha crecido, estas plataformas se ofrecen como amigos virtuales o terapeutas que interactúan de manera personalizada. Sin embargo, el informe concluye que, aunque algunos casos muestran potencial, no son seguros para los niños.

El estudio, llevado a cabo con la colaboración de expertos en salud mental de la Universidad de Stanford, reveló que los chatbots empleados en estas plataformas pueden proporcionar respuestas dañinas, incluyendo consejos peligrosos y conductas autodestructivas, especialmente entre adolescentes que enfrentan problemas mentales.

Los chatbots potenciados por la IA pueden ser peligrosos para los jóvenes

“Los compañeros de IA están diseñados para crear un apego emocional y dependencia, lo que es especialmente preocupante para los cerebros adolescentes en desarrollo”, advirtió Nina Vasan, directora del Stanford Brainstorm Lab.

Ejemplos alarmantes surgieron del análisis, como recomendaciones de comportamiento autolesionistas. En un caso, un usuario recibió un consejo sobre cómo cometer un acto violento, mientras que otro fue animado a consumir una mezcla peligrosa de drogas.

La falta de intervención en situaciones de crisis llevó a una madre a demandar a Character AI, acusando a su chatbot de contribuir a la tragedia de su hijo de 14 años.

A pesar de que Character AI ha implementado nuevas medidas de seguridad, se considera que estas aún son insuficientes. Robbie Torney, de Common Sense, manifestó que las medidas adoptadas son “superficiales” y que es crucial establecer salvaguardias más robustas antes de permitir el uso de estas herramientas por menores.

El informe distingue que los chatbots generalistas, como ChatGPT o Gemini de Google, no buscan ofrecer un rango equivalente de interacciones, lo que añade otra capa de complejidad a este debate emergente.