A Microsoft Research publicou um artigo muito promissor sobre seus esforços e sucesso na aprendizagem progressiva a partir de rastreamentos de explicação complexos do GPT-4. E a parte mais emocionante é que eles vão lançá-lo em breve e estão atualmente trabalhando com sua equipe jurídica para divulgar publicamente um diff dos pesos do modelo, de acordo com a política de lançamento do LLaMA.
O que é o Orca LLM e por que ele é significativo?
Pesquisas recentes têm trabalhado para tornar modelos menores mais poderosos, ensinando-os usando o conhecimento gerado por modelos maiores. Existem vários desafios nesse processo:
- Sinais de imitação limitados: Os modelos menores têm informações limitadas para aprender, porque os modelos maiores fornecem apenas saídas parciais.
- Dados de treinamento homogêneos em pequena escala: Os dados de treinamento para os modelos menores são frequentemente pequenos e semelhantes, o que limita seu potencial de aprendizado.
- Falta de avaliação rigorosa: Os modelos menores tendem a imitar o estilo dos modelos maiores, mas lutam para replicar suas habilidades de raciocínio. Isso ocorre porque não houve uma avaliação completa dos modelos menores, levando a uma superestimação de suas capacidades.
Para superar esses desafios, os pesquisadores desenvolveram um novo modelo chamado Orca.
Orca LLM é um modelo com 13 bilhões de parâmetros, e foi projetado para aprender o processo de raciocínio dos modelos maiores. Ele aprende com uma riqueza de informações fornecidas pelo GPT-4, incluindo explicações de cada etapa, processos de pensamento detalhados e instruções complexas. Além disso, recebe orientação do ChatGPT para auxiliar seu processo de aprendizagem.
Para tornar o aprendizado mais eficaz, o Orca LLM usa uma gama diversificada e extensa de dados de imitação. Técnicas cuidadosas de amostragem e seleção são empregadas para garantir que o modelo aprenda com uma ampla variedade de exemplos. Os resultados têm sido impressionantes:
- O Orca LLM supera outros modelos de última geração que são especificamente ajustados para seguir instruções, como o Vicuna-13B, em mais de 100% em tarefas de raciocínio desafiadoras como o Big-Bench Hard (BBH) e 42% no AGIEval.
- Além disso, o Orca LLM tem um desempenho semelhante ao do ChatGPT no benchmark BBH e mostra um desempenho competitivo (com apenas uma diferença de 4 pontos em comparação com uma mensagem de sistema otimizada) em exames profissionais e acadêmicos como o SAT, LSAT, GRE e GMAT. Isso é alcançado sem qualquer exposição prévia às perguntas ou tarefas específicas, tornando-o um cenário de zero-shot.
- No entanto, o Orca LLM ainda fica ligeiramente atrás do GPT-4 em termos de desempenho.
No geral, esta pesquisa indica que aprender com explicações passo a passo, sejam elas de humanos ou de modelos de IA mais avançados, é uma direção promissora para aprimorar as capacidades e habilidades de modelos como o Orca.