Verdenen af kunstig intelligens er i konstant udvikling, og et nyligt gennembrud inden for AI-forskning har taget tingene til næste niveau. En ny artikel introducerer “Refleksion,” en autonom agent med dynamisk hukommelse og selvrefleksionsevner, der gør det muligt for AI-modeller at lære af deres egne fejl og forbedre sig over tid. Denne udvikling giver AI-modeller menneskelignende ræsonnementsevner og lover et betydeligt løft i ydeevnen.
Hvad er Refleksion, og Hvorfor er det Signifikant?
En af de største svagheder ved nuværende AI-modeller er deres manglende evne til at lære af deres fejl. Refleksion adresserer dette ved at give en agent dynamisk hukommelse og selvrefleksionsevner, hvilket forbedrer deres eksisterende ræsonnement, sporing og opgavespecifikke handlingsvalg. Simpelt sagt kan modellen nu huske de handlinger, den har foretaget, gennemgå disse handlinger og rette sine fejl.
Det fantastiske ved denne tilgang er, at den ikke er begrænset til GPT-4 modeller; den kan fungere med enhver stor sprogmodel uden behov for finjustering. Refleksionsmodellen evaluerer simpelthen belønningsfunktionen og opdaterer den handling, der skal udføres af den originale store sprogmodel, hvilket giver et enormt boost i ydeevnen.
Den Originale Refleksionsartikel
Den originale refleksionsartikel præsenterer resultater på to forskellige datasæt, der fremviser dens evne til at ræsonnere:
- Hotpot QA: Et datasæt til diverse, forklarlige multi-hop spørgsmål og svar, der kræver, at sprogmodellen ræsonnerer gennem flere dokumenter.
- ELF World: Tilpasning af tekst og indlejrede miljøer til interaktiv læring, der kombinerer tekstinput og -output med den fysiske verden, hvilket gør det muligt for modellen at interagere med den fysiske verden ved hjælp af tekstprompter.
Tilføjelse af refleksion til disse modeller førte til betydelige forbedringer i ydeevnen, uden behov for finjustering.
Afdrivning af Misforståelser Omkring Artiklen
Mange mennesker tror fejlagtigt, at artiklen bruger GPT-4, men den bruger faktisk GPT-3 og 3.5 (ChatGPT). Denne distinktion er vigtig, fordi den åbner for muligheden for at kombinere refleksion med Auto GPT, hvilket gør det muligt for AI-modeller at ændre opgaver i farten og levere ægte intelligens.
Refleksion i Aktion: Et Eksempel
I en Hotpot QA-opgave skulle modellen finde navnet på en skuespiller, der er bedst kendt for en rolle i et specifikt show. Efter et indledende mislykket forsøg brugte modellen refleksion til at identificere fejlen i sin søgestrategi, rette den og i sidste ende finde det korrekte svar. Dette er præcis, hvordan et menneske ville nærme sig et problem, reflektere over deres fejl og justere deres strategi i overensstemmelse hermed.
Begrænsninger og Håndtering af Situationer Uden Definitiv Grundsandhed
En stor begrænsning ved artiklen er, at den kræver grundsandhed for at fungere. Men i mange virkelige situationer er der ikke en definitiv grundsandhed eller en enkelt optimal løsning. Forfatterne af artiklen foreslår en metode, der spejler menneskelig problemløsning, hvor de opretter en intern testsuite baseret på deres forståelse og derefter justerer løsninger, indtil de opfylder de fleste af testene.
Ved at flytte præcisionsflaskehalsen fra korrekt syntaktisk og semantisk kodegenerering til korrekt syntaktisk og semantisk testgenerering, kan modellen opnå højere præcisionsrater.
Fremtiden for AI og Refleksion
Efterhånden som AI-modeller med refleksionsevner bliver mere udbredte, kan vi forvente at se betydelige forbedringer i AI-genereret kode og andre komplekse opgaver. Med evnen til iterativt at forbedre deres eget arbejde vil AI-modeller blive mere effektive og virkningsfulde til at løse problemer og generere løsninger.
Det er vigtigt for os som mennesker at reflektere over de udviklinger, vi gør inden for AI, og overveje den retning, vi ønsker at tage den i. Dette gennembrud inden for AI-ræsonnement er kun begyndelsen, og der er ingen tvivl om, at flere spændende fremskridt ligger forude.
Video af Prompt Engineering
Referencer:
- Reflexion paper: https://arxiv.org/pdf/2303.11366.pdf
- Reflecting on Reflexion Blogpost: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- HotpotQA paper: https://arxiv.org/pdf/1809.09600.pdf
- Alfworld paper: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf