Microsoft Research ha publicado un artículo muy prometedor sobre sus esfuerzos y su éxito en el aprendizaje progresivo a partir de trazas de explicación complejas de GPT-4. Y lo más interesante es que van a publicarlo pronto y actualmente están trabajando con su equipo legal para publicar públicamente un diff de los pesos del modelo de acuerdo con la política de publicación de LLaMA.
¿Qué es Orca LLM y por qué es importante?
Las investigaciones recientes se han centrado en hacer que los modelos más pequeños sean más potentes enseñándoles utilizando el conocimiento generado por los modelos más grandes. Este proceso plantea varios retos:
- Señales de imitación limitadas: Los modelos más pequeños tienen información limitada de la que aprender, ya que los modelos más grandes solo proporcionan salidas parciales.
- Datos de entrenamiento homogéneos a pequeña escala: Los datos de entrenamiento para los modelos más pequeños suelen ser escasos y similares, lo que limita su potencial de aprendizaje.
- Falta de evaluación rigurosa: Los modelos más pequeños tienden a imitar el estilo de los modelos más grandes, pero tienen dificultades para replicar sus capacidades de razonamiento. Esto se debe a que no ha habido una evaluación exhaustiva de los modelos más pequeños, lo que ha llevado a una sobreestimación de sus capacidades.
Para superar estos retos, los investigadores han desarrollado un nuevo modelo llamado Orca.
Orca LLM es un modelo con 13.000 millones de parámetros, y ha sido diseñado para aprender el proceso de razonamiento de los modelos más grandes. Aprende de una gran cantidad de información proporcionada por GPT-4, incluyendo explicaciones de cada paso, procesos de pensamiento detallados e instrucciones complejas. Además, recibe la orientación de ChatGPT para ayudar a su proceso de aprendizaje.
Para que el aprendizaje sea más eficaz, Orca LLM utiliza una gama diversa y extensa de datos de imitación. Se emplean cuidadosas técnicas de muestreo y selección para garantizar que el modelo aprende de una amplia variedad de ejemplos. Los resultados han sido impresionantes:
- Orca LLM supera a otros modelos de última generación que están específicamente ajustados para seguir instrucciones, como Vicuna-13B, en más de un 100% en tareas de razonamiento difíciles como Big-Bench Hard (BBH) y un 42% en AGIEval.
- Además, Orca LLM rinde a un nivel similar a ChatGPT en el benchmark BBH y muestra un rendimiento competitivo (con solo una diferencia de 4 puntos en comparación con un mensaje de sistema optimizado) en exámenes profesionales y académicos como el SAT, LSAT, GRE y GMAT. Esto se logra sin ninguna exposición previa a las preguntas o tareas específicas, lo que lo convierte en un entorno de cero disparos.
- Sin embargo, Orca LLM todavía se queda ligeramente atrás de GPT-4 en términos de rendimiento.
En general, esta investigación indica que aprender de explicaciones paso a paso, ya sean de humanos o de modelos de IA más avanzados, es una dirección prometedora para mejorar las capacidades y habilidades de modelos como Orca.