Ο κόσμος της τεχνητής νοημοσύνης εξελίσσεται συνεχώς και μια πρόσφατη ανακάλυψη στην έρευνα για την ΤΝ έχει ανεβάσει τον πήχη. Μια νέα επιστημονική εργασία παρουσιάζει το “Reflection” (Ανάκλαση), έναν αυτόνομο πράκτορα με δυναμική μνήμη και δυνατότητες αυτο-αναστοχασμού, που επιτρέπει στα μοντέλα ΤΝ να μαθαίνουν από τα λάθη τους και να βελτιώνονται με την πάροδο του χρόνου. Αυτή η εξέλιξη προσδίδει στα μοντέλα ΤΝ ικανότητες συλλογισμού παρόμοιες με τις ανθρώπινες και υπόσχεται σημαντική αύξηση στην απόδοση.
Τι είναι το Reflection και γιατί είναι σημαντικό;
Μία από τις μεγαλύτερες αδυναμίες των σημερινών μοντέλων ΤΝ είναι η αδυναμία τους να μάθουν από τα λάθη τους. Το Reflection αντιμετωπίζει αυτό το πρόβλημα δίνοντας σε έναν πράκτορα δυναμική μνήμη και δυνατότητες αυτο-αναστοχασμού, βελτιώνοντας τις υπάρχουσες ικανότητες συλλογισμού, ανίχνευσης και επιλογής ενεργειών για συγκεκριμένες εργασίες. Με απλά λόγια, το μοντέλο μπορεί πλέον να απομνημονεύει τις ενέργειες που έχει κάνει, να τις επανεξετάζει και να διορθώνει τα λάθη του.
Το σπουδαίο με αυτή την προσέγγιση είναι ότι δεν περιορίζεται στα μοντέλα GPT-4. Μπορεί να λειτουργήσει με οποιοδήποτε μεγάλο γλωσσικό μοντέλο χωρίς να χρειάζεται λεπτομερής ρύθμιση. Το μοντέλο ανάκλασης απλώς αξιολογεί τη συνάρτηση ανταμοιβής και ενημερώνει την ενέργεια που πρέπει να αναλάβει το αρχικό μεγάλο γλωσσικό μοντέλο, δίνοντας μια τεράστια ώθηση στην απόδοση.
Η Πρωτότυπη Επιστημονική Εργασία για το Reflection
Η πρωτότυπη επιστημονική εργασία για το reflection παρουσιάζει αποτελέσματα σε δύο διαφορετικά σύνολα δεδομένων, αναδεικνύοντας την ικανότητά του για συλλογισμό:
- Hotpot QA: Ένα σύνολο δεδομένων για ποικίλες, επεξηγήσιμες απαντήσεις ερωτήσεων πολλαπλών βημάτων, που απαιτεί από το γλωσσικό μοντέλο να συλλογιστεί μέσα από πολλαπλά έγγραφα.
- ELF World: Ευθυγράμμιση κειμένου και ενσωματωμένων περιβαλλόντων για διαδραστική μάθηση, συνδυάζοντας εισόδους και εξόδους κειμένου με τον φυσικό κόσμο, επιτρέποντας στο μοντέλο να αλληλεπιδρά με τον φυσικό κόσμο χρησιμοποιώντας γραπτές προτροπές.
Η προσθήκη reflection σε αυτά τα μοντέλα οδήγησε σε σημαντικές βελτιώσεις στην απόδοση, χωρίς να απαιτείται λεπτομερής ρύθμιση.
Διασκεδάζοντας Παρεξηγήσεις Σχετικά με την Επιστημονική Εργασία
Πολλοί άνθρωποι πιστεύουν λανθασμένα ότι η εργασία χρησιμοποιεί GPT-4, αλλά στην πραγματικότητα χρησιμοποιεί GPT-3 και 3.5 (ChatGPT). Αυτή η διάκριση είναι σημαντική επειδή ανοίγει την πιθανότητα συνδυασμού του reflection με το Auto GPT, επιτρέποντας στα μοντέλα ΤΝ να τροποποιούν εργασίες εν κινήσει, παρέχοντας πραγματική ευφυΐα.
Το Reflection στην Πράξη: Ένα Παράδειγμα
Σε μια εργασία Hotpot QA, το μοντέλο έπρεπε να βρει το όνομα ενός ηθοποιού γνωστού για έναν ρόλο σε μια συγκεκριμένη εκπομπή. Μετά από μια αρχική ανεπιτυχή προσπάθεια, το μοντέλο χρησιμοποίησε reflection για να εντοπίσει το λάθος στη στρατηγική αναζήτησής του, να το διορθώσει και τελικά να βρει τη σωστή απάντηση. Αυτός είναι ακριβώς ο τρόπος με τον οποίο ένας άνθρωπος θα προσέγγιζε ένα πρόβλημα, αναλογιζόμενος τα λάθη του και προσαρμόζοντας ανάλογα τη στρατηγική του.
Περιορισμοί και Αντιμετώπιση Καταστάσεων Χωρίς Οριστική Βασική Αλήθεια
Ένας σημαντικός περιορισμός της εργασίας είναι ότι απαιτεί βασική αλήθεια για να λειτουργήσει. Ωστόσο, σε πολλές πραγματικές καταστάσεις, δεν υπάρχει οριστική βασική αλήθεια ή μοναδική βέλτιστη λύση. Οι συγγραφείς της εργασίας προτείνουν μια μέθοδο που αντικατοπτρίζει την ανθρώπινη επίλυση προβλημάτων, δημιουργώντας μια εσωτερική σουίτα δοκιμών με βάση την κατανόησή τους και στη συνέχεια προσαρμόζοντας τις λύσεις μέχρι να ικανοποιούν τις περισσότερες από τις δοκιμές.
Μετατοπίζοντας το σημείο συμφόρησης ακρίβειας από τη σωστή συντακτική και σημασιολογική δημιουργία κώδικα στη σωστή συντακτική και σημασιολογική δημιουργία δοκιμών, το μοντέλο μπορεί να επιτύχει υψηλότερα ποσοστά ακρίβειας.
Το Μέλλον της ΤΝ και του Reflection
Καθώς τα μοντέλα ΤΝ με δυνατότητες reflection γίνονται πιο διαδεδομένα, μπορούμε να αναμένουμε σημαντικές βελτιώσεις στον κώδικα που δημιουργείται από ΤΝ και σε άλλες σύνθετες εργασίες. Με την ικανότητα να βελτιώνουν επαναληπτικά τη δική τους δουλειά, τα μοντέλα ΤΝ θα γίνουν πιο αποτελεσματικά και αποδοτικά στην επίλυση προβλημάτων και τη δημιουργία λύσεων.
Είναι σημαντικό για εμάς ως ανθρώπους να αναλογιστούμε τις εξελίξεις που κάνουμε στην ΤΝ και να σκεφτούμε την κατεύθυνση που θέλουμε να την πάρουμε. Αυτή η ανακάλυψη στον συλλογισμό της ΤΝ είναι μόνο η αρχή και δεν υπάρχει αμφιβολία ότι πιο συναρπαστικές εξελίξεις έρχονται.
Βίντεο από την Prompt Engineering
Αναφορές:
- Reflexion paper: https://arxiv.org/pdf/2303.11366.pdf
- Reflecting on Reflexion Blogpost: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- HotpotQA paper: https://arxiv.org/pdf/1809.09600.pdf
- Alfworld paper: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf