עולם הבינה המלאכותית נמצא בהתפתחות מתמדת, ופריצת דרך מחקרית בתחום הבינה המלאכותית העבירה את העניינים לשלב הבא. מאמר חדש מציג את "רפלקשן" (Reflection), סוכן אוטונומי בעל זיכרון דינמי ויכולות רפלקציה עצמית, המאפשר למודלים של AI ללמוד מטעויותיהם ולשפר את עצמם עם הזמן. פיתוח זה מעניק למודלים של AI יכולות חשיבה דמויות אדם ומבטיח דחיפה משמעותית בביצועים.
מהי רפלקשן ומדוע היא משמעותית?
אחת החולשות הגדולות ביותר של מודלים קיימים של AI היא חוסר היכולת שלהם ללמוד מטעויותיהם. רפלקשן מטפלת בכך על ידי הענקת זיכרון דינמי ויכולות רפלקציה עצמית לסוכן, ובכך משפרת את יכולות החשיבה, העקיבה ובחירת הפעולה הספציפית למשימה הקיימות שלהם. במילים פשוטות, המודל יכול כעת לזכור את הפעולות שביצע, לסקור את הפעולות הללו ולתקן את טעויותיו.
הדבר הנהדר בגישה זו הוא שהיא אינה מוגבלת למודלים של GPT-4; היא יכולה לעבוד עם כל מודל שפה גדול ללא צורך בכוונון עדין. מודל הרפלקציה פשוט מעריך את פונקציית התגמול ומעדכן את הפעולה שיש לנקוט על ידי מודל השפה הגדול המקורי, ובכך מעניק דחיפה עצומה בביצועים.
מאמר הרפלקציה המקורי
מאמר הרפלקציה המקורי מציג תוצאות על שני מערכי נתונים שונים, המציגות את יכולתו לנמק:
- Hotpot QA: מערך נתונים לשאלות ותשובות מגוונות, מוסברות, מרובות שלבים, הדורש ממודל השפה לנמק בין מספר מסמכים.
- ELF World: התאמת טקסט וסביבות התנסותיות ללמידה אינטראקטיבית, שילוב תשומות ותפוקות טקסט עם העולם הפיזי, המאפשר למודל ליצור אינטראקציה עם העולם הפיזי באמצעות הנחיות טקסט.
הוספת רפלקציה למודלים אלה הובילה לשיפורים משמעותיים בביצועים, ללא צורך בכוונון עדין.
פיזור תפיסות שגויות לגבי המאמר
אנשים רבים מאמינים בטעות שהמאמר משתמש ב-GPT-4, אך הוא משתמש בפועל ב-GPT-3 ו-3.5 (ChatGPT). הבחנה זו משמעותית מכיוון שהיא פותחת את האפשרות לשלב רפלקציה עם Auto GPT, ובכך לאפשר למודלים של AI לשנות משימות תוך כדי תנועה, ולספק אינטליגנציה אמיתית.
רפלקציה בפעולה: דוגמה
במשימת Hotpot QA, המודל נדרש למצוא את שמו של שחקן הידוע בעיקר בזכות תפקיד בסדרה ספציפית. לאחר ניסיון ראשוני לא מוצלח, המודל השתמש ברפלקציה כדי לזהות את הטעות באסטרטגיית החיפוש שלו, לתקן אותה, ובסופו של דבר למצוא את התשובה הנכונה. זה בדיוק האופן שבו אדם יגש לבעיה, יחשוב על טעויותיו ויתאים את האסטרטגיה שלו בהתאם.
מגבלות וטיפול במצבים ללא אמיתות קרקעיות מוחלטות
מגבלה עיקרית אחת של המאמר היא שהוא דורש אמיתות קרקעיות כדי לעבוד. עם זאת, במצבים רבים בעולם האמיתי, אין אמיתות קרקעיות מוחלטות או פתרון אופטימלי יחיד. מחברי המאמר מציעים שיטה המשקפת פתרון בעיות אנושי, יצירת חבילת בדיקות פנימית המבוססת על הבנתם ולאחר מכן התאמת פתרונות עד שהם מספקים את רוב הבדיקות.
על ידי העברת צוואר הבקבוק של הדיוק מיצירת קוד תחבירית וסמנטית נכונה ליצירת בדיקות תחבירית וסמנטית נכונה, המודל יכול להשיג שיעורי דיוק גבוהים יותר.
עתיד ה-AI ורפלקציה
ככל שמודלים של AI עם יכולות רפלקציה יהפכו לנפוצים יותר, אנו יכולים לצפות לראות שיפורים משמעותיים בקוד שנוצר על ידי AI ובמשימות מורכבות אחרות. עם היכולת לשפר באופן איטרטיבי את עבודתם שלהם, מודלים של AI יהפכו ליעילים ואפקטיביים יותר בפתרון בעיות ויצירת פתרונות.
זה חיוני לנו כבני אדם להרהר בהתפתחויות שאנו מבצעים ב-AI ולשקול את הכיוון שאליו אנו רוצים לקחת אותו. פריצת דרך זו בחשיבת AI היא רק ההתחלה, ואין ספק שצפויות התקדמויות מרגשות יותר בעתיד.
וידאו מאת Prompt Engineering
מקורות:
- מאמר רפלקשן: https://arxiv.org/pdf/2303.11366.pdf
- בלוג פוסט על רפלקשן: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- מאמר HotpotQA: https://arxiv.org/pdf/1809.09600.pdf
- מאמר Alfworld: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf