Nvidia presenta hoy ENPIRE: entrena robots con mucha menos ayuda humana

Nvidia ha presentado hoy ENPIRE, un nuevo sistema de investigación para robótica con el que quiere atacar uno de los grandes atascos del sector: todo el trabajo manual que sigue metido en cada ciclo de entrenamiento. La propuesta de Nvidia busca que agentes autónomos de programación puedan probar, corregir y pulir políticas de manipulación en robots reales con mucha menos intervención humana.

El proyecto, desarrollado junto con Carnegie Mellon University y la University of California, Berkeley (UC Berkeley), ya ha dejado resultados llamativos en tareas de destreza fina. Según el estudio, una flota de robots alcanzó tasas de acierto de hasta 99% en pruebas como Push-T, clasificación de objetos, inserción de pasadores y tareas de corte o cierre de bridas. En inserción de pasadores, además, llegó al 100% más rápido que un enfoque comparable con humanos dentro del bucle, siempre según el estudio.

ENPIRE, abreviatura de Embodied aNd Physical-world-aware agentIc Robot policy self-ImprovemEnt, automatiza una parte del trabajo que hoy sigue frenando el aprendizaje robótico.

Ahí es donde se va buena parte del tiempo: recopilar datos de entrenamiento, volver a colocar los objetos después de cada intento fallido, comprobar si una prueba ha salido bien y retocar algoritmos para agarres y manipulaciones delicadas. Todo eso consume horas y personal de laboratorio.

ENPIRE divide ese proceso en dos fases. Primero ayuda a fijar límites de seguridad, mecanismos para reiniciar la escena de forma automática y comprobaciones también automáticas de éxito, con una cantidad reducida de feedback humano. Después pasa a moverse con bastante más autonomía: consulta artículos técnicos, plantea hipótesis, modifica el código de entrenamiento y elige entre clonación de comportamiento o aprendizaje por refuerzo según lo que va viendo en el mundo real.

Uno de los puntos más interesantes es este: ENPIRE no necesita que una persona puntúe cada intento.

El sistema genera sus propias funciones de recompensa y evaluación a partir de apenas unos minutos de vídeo de ejemplo con aciertos y fallos. En inserción de pasadores, según el estudio, las comprobaciones mezclan alineación visual, altura de la pinza y fuerza estimada; en el caso de las bridas, usa dos ángulos de cámara y responde en menos de 150 milisegundos.

Con eso, ENPIRE puede cerrar el bucle de entrenamiento sin que un operador tenga que validar a mano cada prueba.

La plataforma corre sobre una flota de ocho estaciones robóticas YAM de doble brazo, cada una con su propio hardware, su ordenador y su agente de programación. Cada estación explora ideas distintas en paralelo y, cuando una da con una receta de entrenamiento que funciona, la comparte con el resto a través de Git, algo que Nvidia compara con una red de experimentación distribuida.

ENPIRE también se apoya en Eureka, un trabajo anterior de Nvidia que generaba funciones de recompensa de forma automática y que, según la compañía, llegó a superar a programas escritos por humanos en más del 80% de las tareas, con mejoras de rendimiento por encima del 50%.

Según un portavoz de Nvidia, se trata de una forma de hacer «investigación automática en el mundo físico» y de dar a los agentes una «API para el mundo de los átomos».

La compañía dice que abrirá el proyecto como código abierto y lo sitúa, junto a Nvidia Project GR00T y Nvidia Isaac, dentro de su apuesta por robots humanoides de propósito general. Por ahora, eso sí, todavía no se sabe cuándo se publicará ENPIRE como proyecto abierto.