De wereld van kunstmatige intelligentie is voortdurend in ontwikkeling, en een recente doorbraak in AI-onderzoek tilt de zaken naar een hoger niveau. Een nieuw artikel introduceert “Reflection”, een autonome agent met dynamisch geheugen en zelfreflecterend vermogen, waardoor AI-modellen van hun eigen fouten kunnen leren en zich in de loop van de tijd kunnen verbeteren. Deze ontwikkeling geeft AI-modellen mensachtige redeneervermogens en belooft een aanzienlijke prestatieverbetering.
Wat is Reflection en Waarom is het Belangrijk?
Een van de grootste zwakheden van de huidige AI-modellen is hun onvermogen om van hun fouten te leren. Reflection pakt dit aan door een agent dynamisch geheugen en zelfreflecterend vermogen te geven, waardoor hun bestaande redeneer-, traceer- en taakspecifieke actiekeuze-vaardigheden worden versterkt. Eenvoudig gezegd kan het model nu de acties die het heeft ondernomen onthouden, deze acties evalueren en zijn fouten corrigeren.
Het mooie van deze aanpak is dat deze niet beperkt is tot GPT-4 modellen; het kan werken met elk groot taalmodel zonder dat fine-tuning nodig is. Het reflection-model evalueert simpelweg de beloningsfunctie en actualiseert de actie die door het originele grote taalmodel moet worden ondernomen, wat een enorme prestatieverbetering oplevert.
Het Originele Reflection Artikel
Het originele reflection artikel presenteert resultaten op twee verschillende datasets en toont hiermee het redeneervermogen aan:
- Hotpot QA: Een dataset voor diverse, verklaarbare multi-hop vraag beantwoording, waarbij het taalmodel moet redeneren door meerdere documenten.
- ELF World: Het afstemmen van tekst en belichaamde omgevingen voor interactief leren, waarbij tekstinvoer en -uitvoer worden gecombineerd met de fysieke wereld, waardoor het model kan interageren met de fysieke wereld met behulp van tekstprompts.
Het toevoegen van reflection aan deze modellen leidde tot aanzienlijke prestatieverbeteringen, zonder dat fine-tuning nodig was.
Misvattingen over het Artikel Wegnemen
Veel mensen geloven ten onrechte dat het artikel GPT-4 gebruikt, maar in werkelijkheid wordt GPT-3 en 3.5 (ChatGPT) gebruikt. Dit onderscheid is belangrijk omdat het de mogelijkheid opent om reflection te combineren met Auto GPT, waardoor AI-modellen taken direct kunnen aanpassen, wat echte intelligentie mogelijk maakt.
Reflection in Actie: Een Voorbeeld
In een Hotpot QA-taak moest het model de naam vinden van een acteur die het meest bekend is door een rol in een specifieke serie. Na een eerste mislukte poging gebruikte het model reflection om de fout in zijn zoekstrategie te identificeren, deze te corrigeren en uiteindelijk het juiste antwoord te vinden. Dit is precies hoe een mens een probleem zou benaderen, reflecterend op zijn fouten en zijn strategie dienovereenkomstig aanpassend.
Beperkingen en het Aanpakken van Situaties Zonder Definitieve Juistheid
Een belangrijke beperking van het artikel is dat het grondwaarheid nodig heeft om te werken. In veel situaties in de echte wereld is er echter geen definitieve grondwaarheid of één optimale oplossing. De auteurs van het artikel stellen een methode voor die menselijke probleemoplossing nabootst, waarbij een interne testsuite wordt gecreëerd op basis van hun begrip en vervolgens oplossingen worden aangepast totdat ze aan de meeste tests voldoen.
Door de nauwkeurigheidsbottleneck te verschuiven van correcte syntactische en semantische codegeneratie naar correcte syntactische en semantische testgeneratie, kan het model hogere nauwkeurigheidspercentages bereiken.
De Toekomst van AI en Reflection
Naarmate AI-modellen met reflection-mogelijkheden zich steeds verder verspreiden, kunnen we aanzienlijke verbeteringen verwachten in AI-gegenereerde code en andere complexe taken. Met de mogelijkheid om hun eigen werk iteratief te verbeteren, zullen AI-modellen efficiënter en effectiever worden in het oplossen van problemen en het genereren van oplossingen.
Het is essentieel voor ons als mensen om na te denken over de ontwikkelingen die we in AI doormaken en na te gaan welke richting we ermee op willen. Deze doorbraak in AI-redenering is nog maar het begin, en er is geen twijfel mogelijk dat er nog meer opwindende ontwikkelingen in het verschiet liggen.
Video door Prompt Engineering
Referenties:
- Reflexion artikel: https://arxiv.org/pdf/2303.11366.pdf
- Reflecting on Reflexion Blogpost: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- HotpotQA artikel: https://arxiv.org/pdf/1809.09600.pdf
- Alfworld artikel: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf