نشرت Microsoft Research ورقة بحثية واعدة جدًا حول جهودهم ونجاحهم في التعلّم التدريجي من آثار التفسيرات المعقدة لـ GPT-4. والجزء الأكثر إثارة هو أنهم سيطلقونه قريبًا ويعملون حاليًا مع فريقهم القانوني لإصدار اختلاف في أوزان النموذج علنًا وفقًا لسياسة إصدار LLaMA.
ما هو Orca LLM ولماذا هو مهم؟
ركزت الأبحاث الحديثة على جعل النماذج الأصغر حجمًا أكثر قوة من خلال تعليمها باستخدام المعرفة التي تولدها النماذج الأكبر حجمًا. هناك عدة تحديات في هذه العملية:
- إشارات التقليد المحدودة: النماذج الأصغر لديها معلومات محدودة للتعلم منها لأن النماذج الأكبر تقدم فقط مخرجات جزئية.
- بيانات تدريب متجانسة صغيرة النطاق: غالبًا ما تكون بيانات التدريب للنماذج الأصغر صغيرة ومتشابهة، مما يحد من إمكانات التعلم الخاصة بها.
- نقص التقييم الدقيق: تميل النماذج الأصغر إلى تقليد أسلوب النماذج الأكبر ولكنها تكافح لتكرار قدراتها المنطقية. هذا لأنه لم يكن هناك تقييم شامل للنماذج الأصغر، مما أدى إلى المبالغة في تقدير قدراتها.
للتغلب على هذه التحديات، طور الباحثون نموذجًا جديدًا يسمى Orca.
Orca LLM هو نموذج يحتوي على 13 مليار معلمة، وقد تم تصميمه لتعلم عملية التفكير الخاصة بالنماذج الأكبر. يتعلم من ثروة من المعلومات المقدمة من GPT-4، بما في ذلك تفسيرات كل خطوة، وعمليات التفكير التفصيلية، والتعليمات المعقدة. بالإضافة إلى ذلك، يتلقى إرشادات من ChatGPT للمساعدة في عملية التعلم الخاصة به.
لجعل التعلم أكثر فعالية، يستخدم Orca LLM مجموعة متنوعة وواسعة من بيانات التقليد. يتم استخدام تقنيات أخذ العينات والاختيار الدقيقة لضمان تعلم النموذج من مجموعة واسعة من الأمثلة. وكانت النتائج مبهرة:
- يتفوق Orca LLM على النماذج الحديثة الأخرى التي تم ضبطها خصيصًا لاتباع التعليمات، مثل Vicuna-13B، بأكثر من 100٪ في مهام التفكير الصعبة مثل Big-Bench Hard (BBH) و 42٪ في AGIEval.
- علاوة على ذلك، يعمل Orca LLM على مستوى مماثل لمستوى ChatGPT في معيار BBH ويظهر أداءً تنافسيًا (مع فجوة 4 نقاط فقط مقارنة برسالة نظام محسّنة) في الاختبارات المهنية والأكاديمية مثل SAT و LSAT و GRE و GMAT. يتم تحقيق ذلك دون أي تعرض مسبق للأسئلة أو المهام المحددة، مما يجعله إعدادًا بدون رصيد سابق.
- ومع ذلك، لا يزال Orca LLM متخلفًا قليلاً عن GPT-4 من حيث الأداء.
بشكل عام، يشير هذا البحث إلى أن التعلم من التفسيرات خطوة بخطوة، سواء كانت قادمة من البشر أو نماذج الذكاء الاصطناعي الأكثر تقدمًا، هو اتجاه واعد لتعزيز قدرات ومهارات نماذج مثل Orca.