Världen av artificiell intelligens utvecklas ständigt, och ett nyligt genombrott inom AI-forskning har tagit saker till nästa nivå. En ny artikel introducerar ”Reflektion”, en autonom agent med dynamiskt minne och självreflektionsförmåga, vilket gör att AI-modeller kan lära sig av sina egna misstag och förbättras över tid. Denna utveckling ger AI-modeller mänskliga resonemangsförmågor och utlovar en betydande prestandaökning.
Vad är Reflektion och varför är det viktigt?
En av de största svagheterna hos nuvarande AI-modeller är deras oförmåga att lära sig av sina misstag. Reflektion åtgärdar detta genom att ge en agent dynamiskt minne och självreflektionsförmåga, vilket förbättrar deras befintliga resonemangs-, spårnings- och uppgiftsspecifika val av åtgärder. Enkelt uttryckt kan modellen nu memorera de åtgärder den har vidtagit, granska dessa åtgärder och korrigera sina misstag.
Det fantastiska med detta tillvägagångssätt är att det inte är begränsat till GPT-4-modeller; det kan fungera med alla stora språkmodeller utan behov av finjustering. Reflektionsmodellen utvärderar helt enkelt belöningsfunktionen och uppdaterar den åtgärd som behöver vidtas av den ursprungliga stora språkmodellen, vilket ger en enorm prestandaökning.
Den ursprungliga Reflektionsartikeln
Den ursprungliga reflektionsartikeln presenterar resultat på två olika dataset, vilket visar dess förmåga att resonera:
- Hotpot QA: Ett dataset för mångsidig, förklarbar flerstegsfrågebesvarande, som kräver att språkmodellen resonerar genom flera dokument.
- ELF World: Anpassning av text och förkroppsligade miljöer för interaktivt lärande, som kombinerar textinmatningar och -utmatningar med den fysiska världen, vilket gör att modellen kan interagera med den fysiska världen med hjälp av textprompter.
Att lägga till reflektion till dessa modeller ledde till betydande prestandaförbättringar, utan behov av finjustering.
Avfärda missuppfattningar om artikeln
Många tror felaktigt att artikeln använder GPT-4, men den använder faktiskt GPT-3 och 3.5 (ChatGPT). Denna distinktion är betydande eftersom den öppnar upp möjligheten att kombinera reflektion med Auto GPT, vilket gör att AI-modeller kan modifiera uppgifter i farten och ge verklig intelligens.
Reflektion i praktiken: Ett exempel
I en Hotpot QA-uppgift behövde modellen hitta namnet på en skådespelare som är mest känd för en roll i en specifik serie. Efter ett initialt misslyckat försök använde modellen reflektion för att identifiera misstaget i sin sökstrategi, korrigera det och slutligen hitta det korrekta svaret. Detta är exakt hur en människa skulle närma sig ett problem, reflektera över sina misstag och anpassa sin strategi därefter.
Begränsningar och hantering av situationer utan definitivt facit
En stor begränsning med artikeln är att den kräver ett facit för att fungera. Men i många verkliga situationer finns det inget definitivt facit eller en enda optimal lösning. Författarna till artikeln föreslår en metod som speglar mänsklig problemlösning, skapar en intern testsvit baserad på deras förståelse och justerar sedan lösningarna tills de uppfyller de flesta testerna.
Genom att flytta noggrannhetsflaskhalsen från korrekt syntaktisk och semantisk kodgenerering till korrekt syntaktisk och semantisk testgenerering kan modellen uppnå högre noggrannhet.
Framtiden för AI och Reflektion
När AI-modeller med reflektionsförmåga blir mer utbredda kan vi förvänta oss att se betydande förbättringar inom AI-genererad kod och andra komplexa uppgifter. Med förmågan att iterativt förbättra sitt eget arbete kommer AI-modeller att bli mer effektiva och verkningsfulla för att lösa problem och generera lösningar.
Det är viktigt för oss som människor att reflektera över den utveckling vi gör inom AI och fundera över vilken riktning vi vill ta den. Detta genombrott inom AI-resonemang är bara början, och det råder ingen tvekan om att fler spännande framsteg ligger framför oss.
Video av Prompt Engineering
Referenser:
- Reflektionsartikel: https://arxiv.org/pdf/2303.11366.pdf
- Blogginlägg om Reflektion: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- HotpotQA artikel: https://arxiv.org/pdf/1809.09600.pdf
- Alfworld artikel: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf