En agosto de 2023, Meta lanzó Code Llama, un modelo de lenguaje a gran escala diseñado explícitamente para tareas de codificación, basado en el modelo anterior Llama 2. Hoy, la empresa ha presentado “una nueva versión más potente”, Code Llama 70B.
Code Llama 70B ha sido entrenado con 500.000 millones de tokens de código y datos asociados. Puede procesar y generar secuencias de código más largas gracias a una ventana contextual de 100.000 tokens.
Según Meta, Code Llama 70B utiliza una técnica llamada autoatención para comprender las estructuras del código. Puede implementar algoritmos, ordenar, buscar y mucho más a partir de texto o fragmentos de código en muchos lenguajes como Python, C++, Javascript y Java.
Qué ofrece Llama 70B y por qué es un paso más
Esta herramienta basada en IA incluye variantes que se han perfeccionado para tareas específicas. Una de ellas es CodeLlama-70B-Instruct, que ha sido entrenada para comprender instrucciones en lenguaje natural.
También existe una versión centrada en Python llamada CodeLlama-70B-Python. Con un entrenamiento adicional sobre 100.000 millones de tokens de código Python, genera Python con una “fluidez y precisión inigualables”, según Meta.
Code Llama 70B puede descargarse libremente bajo la misma licencia abierta que los modelos Code Llama anteriores. Meta afirma que esta licencia permisiva permite modificar el modelo tanto a usuarios académicos como comerciales.
Esto es, claramente, competencia a Copilot de GitHub y Microsoft. Los desarrolladores pueden hacer preguntas a Copilot sobre su código, obtener explicaciones sobre partes específicas del código e incluso hacer que Copilot corrija errores en el código.
Recientemente, Google también puso a disposición general Duet AI y Gemini Pro, su herramienta de generación y completado de código basada en IA.
