Save and Share:
Microsoft Research에서 GPT-4의 복잡한 설명 추적을 통해 점진적으로 학습하는 노력과 그 성공에 대한 매우 유망한 논문을 발표했습니다. 가장 흥미로운 점은 곧 이를 공개할 예정이며, 현재 법무팀과 협력하여 LLaMA의 공개 정책에 따라 모델 가중치의 diff를 공개할 것이라는 점입니다.
Orca LLM이란 무엇이며 왜 중요할까요?
최근 연구에서는 더 큰 모델에서 생성된 지식을 사용하여 더 작은 모델을 가르쳐 성능을 향상시키는 데 집중하고 있습니다. 이 과정에는 몇 가지 어려움이 있습니다.
- 제한적인 모방 신호: 더 큰 모델이 부분적인 결과만 제공하기 때문에 더 작은 모델은 학습할 정보가 제한적입니다.
- 소규모의 균일한 학습 데이터: 더 작은 모델의 학습 데이터는 종종 규모가 작고 유사하여 학습 잠재력을 제한합니다.
- 엄격한 평가 부족: 더 작은 모델은 더 큰 모델의 스타일을 모방하는 경향이 있지만 추론 능력은 제대로 복제하지 못합니다. 이는 더 작은 모델에 대한 철저한 평가가 이루어지지 않아 성능이 과대평가되기 때문입니다.
이러한 어려움을 극복하기 위해 연구자들은 Orca라는 새로운 모델을 개발했습니다.
Orca LLM은 130억 개의 파라미터를 가진 모델로, 더 큰 모델의 추론 과정을 학습하도록 설계되었습니다. 각 단계에 대한 설명, 상세한 사고 과정, 복잡한 지침을 포함하여 GPT-4가 제공하는 풍부한 정보를 학습합니다. 또한 ChatGPT의 지침을 받아 학습 과정을 지원받습니다.
학습 효과를 높이기 위해 Orca LLM은 다양하고 광범위한 모방 데이터를 사용합니다. 신중한 샘플링 및 선택 기술을 사용하여 모델이 광범위한 예제에서 학습하도록 보장합니다. 그 결과는 인상적입니다.
- Orca LLM은 Big-Bench Hard(BBH)와 같은 어려운 추론 작업에서 Vicuna-13B와 같이 명령어 수행에 특화된 최첨단 모델보다 100% 이상, AGIEval에서는 42% 더 뛰어난 성능을 보입니다.
- 또한 Orca LLM은 BBH 벤치마크에서 ChatGPT와 유사한 수준의 성능을 보이며, SAT, LSAT, GRE 및 GMAT과 같은 전문 및 학술 시험에서 경쟁력 있는 성능을 보입니다(최적화된 시스템 메시지와 비교하여 4점 차이). 이는 특정 질문이나 작업에 대한 사전 노출 없이 달성되었으며, 제로샷 설정입니다.
- 그러나 Orca LLM은 성능 면에서 GPT-4에 비해 여전히 약간 뒤쳐집니다.
전반적으로, 이 연구는 인간이든 더 발전된 AI 모델이든 단계별 설명에서 배우는 것이 Orca와 같은 모델의 기능과 기술을 향상시키는 데 유망한 방향임을 시사합니다.