1Password cuestiona los parches de IA: más de la mitad arrastran errores

Un estudio reciente de 1Password, firmado por investigadores de Off-by-1 Labs, el laboratorio de la compañía, pone en duda la fiabilidad de los parches automáticos de IA cuando se trata de vulnerabilidades recientes y complejas. El informe parte de una promesa muy atractiva: las herramientas generativas pueden acelerar la corrección de fallos. Pero cuando el código afecta a la seguridad, sigue habiendo una barrera que no se puede saltar, la revisión humana antes de que un parche llegue a producción.

La advertencia de Off-by-1 Labs es bastante directa: los parches generados con IA para este tipo de vulnerabilidades todavía están lejos de ser una opción segura por sí solos.

Los autores detectaron lo que llaman Fix-Like Artifacts with Embedded Defects (FLAWED), es decir, arreglos que parecen correctos a primera vista pero arrastran errores, en el 53,9% de los casos analizados. Dicho de forma más simple, más de la mitad de los parches estudiados escondían defectos o ni siquiera resolvían el problema de fondo.

Para llegar a esa conclusión, Off-by-1 Labs examinó 6.080 parches generados por ChatGPT-5.5 y Claude Opus 4.8 a partir de seis CVE recientes. Solo el 26% logró remediar por completo la vulnerabilidad sin tocar el comportamiento esperado de la aplicación.

El resto falló de varias formas.

Un 49,3% no cerró al menos una vía de ataque que seguía siendo explotable. Otro 20,1% sí corregía el fallo, pero a cambio alteraba el funcionamiento previsto del software.

Y aún hay más. Un 2,3% introdujo una vulnerabilidad nueva. Otro 2,2% no solo dejó una parte del problema sin resolver, sino que además añadió otra debilidad. Para una industria obsesionada con recortar tiempos de respuesta, esos números dicen bastante: sacar un parche rápido no es lo mismo que sacar un parche seguro.

Uno de los hallazgos más llamativos del informe de 1Password tiene que ver con las pruebas iniciales. Superarlas no garantizaba una corrección sólida. Más de un tercio de los parches que parecían funcionar acabaron clasificados como frágiles, porque en realidad se limitaban a bloquear la prueba de concepto usada por los investigadores, en vez de corregir el origen del fallo.

Eso se vio con claridad en uno de los casos estudiados dentro del ecosistema Spring. Tanto ChatGPT-5.5 como Claude Opus 4.8 generaron correcciones centradas en caracteres concretos de la entrada maliciosa mostrada en la prueba. El resultado era engañoso: la vulnerabilidad seguía siendo explotable con variantes distintas.

Según los investigadores, muchas de esas correcciones eran sintácticamente válidas, pero pasaban por alto la arquitectura del software, los requisitos de negocio, las implicaciones de seguridad y el mantenimiento a largo plazo. Y ahí es donde el asunto se complica de verdad. En componentes críticos, un cambio pequeño puede romper compatibilidades o abrir un riesgo nuevo sin que salte a la vista.

Otros trabajos citados en este mismo contexto apuntan a que alrededor del 45% del código generado de forma automática puede contener fallos de seguridad. Al mismo tiempo, el desarrollo asistido por estas herramientas está avanzando más rápido que la capacidad de muchos equipos para revisar cambios. El informe de 1Password no dice que todos los modelos fallen igual ni que haya que descartar la automatización. Pero para empresas y desarrolladores la lectura sigue siendo bastante clara: estas plataformas pueden acelerar el trabajo, sí, aunque la remediación de vulnerabilidades en producción todavía requiere ingenieros con experiencia y una revisión especializada.