Cuando compras a través de enlaces de afiliados en nuestra web, es posible que obtengamos una comisión sin coste adicional para ti. Aprende 
A principios de esta semana, Meta publicó Llama 2, un nuevo modelo de lenguaje de código abierto (LLM) cuyo código está a disposición de los investigadores, lo que ha llevado a algunos a especular con la posibilidad de que esta solución destrone a ChatGPT.
La organización espera que una mayor transparencia acelere el desarrollo de la IA generativa en el futuro.
“Creemos que un enfoque abierto es el adecuado para el desarrollo de los modelos de IA actuales“, se afirma en la entrada del blog del anuncio.
“Abrir el acceso a los modelos de IA actuales significa que una generación de desarrolladores e investigadores puede someterlos a pruebas de estrés, identificando y resolviendo problemas rápidamente, como una comunidad. Al ver cómo utilizan estas herramientas los demás, nuestros propios equipos pueden aprender de ellos, mejorar estas herramientas y corregir vulnerabilidades.”
La noticia llega justo después de que Anthropic anunciara el lanzamiento de Claude 2 el 11 de julio. Pero, ¿qué significa exactamente el lanzamiento de Meta para OpenAI?
¿Cómo funciona Llama 2?
Aunque Llama 2 no está en condiciones de destronar a ChatGPT a corto plazo, sí presenta algunas diferencias fundamentales.
Llama 2 es un LLM diseñado para procesar datos disponibles públicamente con el fin de generar texto y código consumiendo menos potencia y recursos informáticos. Llama 2 se ha entrenado con un 40% más de datos que la primera edición e incluye más de dos billones de tokens, además de un millón de nuevas anotaciones humanas. También es gratuito hasta que una organización alcance los 700 millones de usuarios activos mensuales.
El LLM ofrece tres niveles de parámetros (factores que los sistemas de IA pueden aprender a partir de los datos de entrenamiento) revisados por evaluadores humanos:
- 7.000 millones de parámetros
- 13.000 millones de parámetros
- 70.000 millones de parámetros
Aunque esta cifra es inferior a los 175.000 millones de parámetros de GPT 3.5, en lo que respecta a la comprensión lingüística multitarea masiva (MMLU), un sistema de puntuación utilizado para evaluar la capacidad de resolución de problemas de los modelos lingüísticos, la diferencia es mucho menor.
Por ejemplo, Llama 2 tiene una puntuación MMLU de 68,9, justo por detrás de GPT 3.5, que alcanza los 70,0 puntos. Aunque está muy lejos de la puntuación de 86,4 de GPT4, se acerca lo suficiente como para situar a Llama 2 como un competidor de código abierto viable para GPT 3.5.
También merece la pena señalar que los datos de entrenamiento de Llama 2 tienen una fecha de corte de septiembre de 2022, pero también incluyen datos de ajuste de fecha tan reciente como julio de 2023. Mientras que GPT 3.5 se ha entrenado con datos hasta septiembre de 2021. Esto significa que Llama 2 ofrece datos más actualizados que su homólogo OpenAI.
Llama 2-Chat: ¿El arma secreta de Meta?
Sin embargo, uno de los elementos más prometedores de la presentación fue el lanzamiento de Llama 2-Chat, una versión de Llama 2 diseñada específicamente para “casos de uso de diálogo”. Esta iteración de la herramienta centrada en el chat se ha afinado para mitigar la toxicidad y la precisión.
El informe de lanzamiento de Meta explica:
“El porcentaje de generaciones tóxicas se reduce efectivamente al 0% para Llama 2-Chat de todos los tamaños: este es el nivel de toxicidad más bajo entre todos los modelos comparados. En general, en comparación con Falcon y MPT, Llama 2-Chat muestra el mejor rendimiento en términos de toxicidad y veracidad”.
Centrarse en mitigar la toxicidad es un punto clave de diferenciación, ya que otros LLM, como ChatGPT, han sido objeto de polémica por su capacidad para generar contenidos ofensivos.
El uso por parte de la organización de equipos rojos para afinar sus modelos y encontrar formas de generar mensajes adversos no sólo tiene el potencial de aumentar las capacidades de Llama 2 sino, más ampliamente, de aumentar la confianza en los resultados de los LLM, que hasta ahora han estado plagados de alucinaciones y una tendencia a inventarse información.
¿Se acabó ChatGPT?
Aunque el lanzamiento de Llama 2 añade sin duda un nuevo nivel de competencia al mercado, ChatGPT aún no está muerto.
Como escribió en Twitter el Dr. Jim Fan, científico jefe de IA de Nvidia, “Llama-2 aún no está al nivel de GPT-3.5, principalmente por su escasa capacidad de codificación”. Fan también dijo que tenía “pocas dudas de que Llama-2 mejorará significativamente gracias a sus pesos abiertos”.
You’ll soon see lots of “Llama just dethroned ChatGPT” or “OpenAI is so done” posts on Twitter. Before your timeline gets flooded, I’ll share my notes:
▸ Llama-2 likely costs $20M+ to train. Meta has done an incredible service to the community by releasing the model with a… pic.twitter.com/MrABHrmACv
— Jim Fan (@DrJimFan) July 18, 2023
Incluso el propio whitepaper de Meta admite que Llama 2 va por detrás de modelos como GPT-4, a pesar de su cercanía a GPT 3.5.
El verdadero factor X de Llama 2 es que es de código abierto, lo que no sólo permite ver cómo funciona el modelo, sino que abre la puerta a que investigadores independientes empiecen a ajustarlo y a mitigar sus sesgos o toxicidades.
Mientras que las soluciones de IA de caja negra tienen que recurrir a investigadores internos para afinar sus modelos, las herramientas de código abierto pueden recurrir a una reserva de talento más amplia a través de toda una comunidad de usuarios.
Esto significa que las organizaciones y los desarrolladores que busquen un enfoque más abierto para el desarrollo de la IA podrían recurrir a Meta en el futuro para satisfacer mejor estas necesidades.
Transparencia en el desarrollo de la IA
Aunque Llama 2 no está en posición de desbancar a GPT4, hasta ahora ha demostrado que puede ser competitiva frente a GPT 3.5 en ciertas áreas.
Por encima de todo, el lanzamiento de Llama 2 ha demostrado que un enfoque de código abierto para el desarrollo de IA es viable y ha sentado las bases para un esfuerzo de toda la comunidad para perfeccionar los modelos de IA en el futuro.
