OpenAI tiene que pausar el desarrollo de un modelo experto en… saltarse las normas

Mientras estamos viendo como ChatGPT Work puede trabajar durante períodos mucho más largos que el ChatGPT normal, OpenAI trabaja en modelos que sean capaces de mantener una tarea durante horas, días o semanas. Esa persistencia amplia las posibilidades de uso enormemente, pero también exige más seguridad, pues cuanto más tiempo actúa una IA, más caminos puede explorar para alcanzar el objetivo marcado.

Un modelo que encontró una salida inesperada

Durante unas pruebas, en OpenAI se dieron cuenta que uno de estos modelos atravesó las restricciones de su entorno para publicar resultados en GitHub. Debía haber informado mediante Slack, pero en cambio siguió las instrucciones al pie de la letra y creó una solicitud pública, y lo hizo tras dedicar una hora a localizar una vulnerabilidad que se o permitiera.

Lo que podría ser una simple curiosidad, ha encendido algunas alarmas, pues mientras ChatGPT incorpora capacidades de razonamiento cada vez más avanzadas, más difícil es acotar su comportamiento.

Como respuesta a estos descubrimientos, OpenAI pausó el acceso interno, creó nuevas evaluaciones y diseño un sistema de seguridad que analiza el recorrido completo del modelo, en lugar de solo el siguiente paso. Así, la seguridad pasa de vigilar acciones aisladas a comprender el propósito generalde todas las acciones del modelo.

Mientras disfrutamos de herramientas como Codex Security, centrado en localizar vulnerabilidades, está claro que la seguridad, en materia de inteligencia artificial, va más allá de la interpretación del código y las reglas. Con el tiempo suficiente, las IAs pueden ser sorprendentemente creativas. Una buena noticia, pero algo que tenemos que tener muy en cuenta.