GPT-4 modeli, ki se učijo iz svojih napak: preboj v sklepanju umetne inteligence

Save and Share:

Svet umetne inteligence se nenehno razvija, in nedavni preboj v raziskavah umetne inteligence je stvari dvignil na višji nivo. Nova študija predstavlja “Refleksijo,” avtonomnega agenta z dinamičnim spominom in zmožnostmi samorefleksije, ki modelom umetne inteligence omogoča učenje iz lastnih napak in izboljševanje skozi čas. Ta razvoj daje modelom umetne inteligence sposobnosti sklepanja, podobne človeškim, in obeta znatno izboljšanje zmogljivosti.

Kaj je Refleksija in zakaj je pomembna?

Ena največjih slabosti trenutnih modelov umetne inteligence je njihova nezmožnost učenja iz napak. Refleksija to rešuje z dodajanjem dinamičnega spomina in zmožnosti samorefleksije agentu, kar izboljša njihovo obstoječe sklepanje, sledenje in zmožnosti izbire dejanj, specifičnih za nalogo. Preprosto povedano, model si zdaj lahko zapomni dejanja, ki jih je izvedel, jih pregleda in popravi svoje napake.

Odlična stvar pri tem pristopu je, da ni omejen na modele GPT-4; deluje lahko s katerim koli velikim jezikovnim modelom brez potrebe po dodatnem učenju. Model refleksije preprosto oceni funkcijo nagrajevanja in posodobi dejanje, ki ga mora izvesti prvotni veliki jezikovni model, kar močno poveča zmogljivost.

Izvirna študija o Refleksiji

Izvirna študija o refleksiji predstavlja rezultate na dveh različnih naborih podatkov, ki prikazujejo njeno sposobnost sklepanja:

Hotpot QA: Nabor podatkov za raznolika, razložljiva vprašanja in odgovore z več koraki, ki od jezikovnega modela zahtevajo sklepanje skozi več dokumentov.
ELF World: Usklajevanje besedila in utelešenih okolij za interaktivno učenje, ki združuje besedilne vhode in izhode s fizičnim svetom, kar modelu omogoča interakcijo s fizičnim svetom z uporabo besedilnih pozivov.

Dodajanje refleksije tem modelom je privedlo do znatnega izboljšanja zmogljivosti, brez potrebe po dodatnem učenju.

Odprava napačnih predstav o študiji

Mnogi ljudje zmotno verjamejo, da študija uporablja GPT-4, vendar dejansko uporablja GPT-3 in 3.5 (ChatGPT). To razlikovanje je pomembno, ker odpira možnost kombiniranja refleksije z Auto GPT, kar modelom umetne inteligence omogoča spreminjanje nalog med izvajanjem in zagotavlja resnično inteligenco.

Refleksija v praksi: primer

Pri nalogi Hotpot QA je moral model najti ime igralca, najbolj znanega po vlogi v določeni seriji. Po začetnem neuspešnem poskusu je model uporabil refleksijo, da je prepoznal napako v svoji strategiji iskanja, jo popravil in na koncu našel pravilen odgovor. To je natanko tako, kot bi se človek lotil problema, razmislil o svojih napakah in ustrezno prilagodil svojo strategijo.

Omejitve in obravnavanje situacij brez dokončnega referenčnega odgovora

Ena glavnih omejitev študije je, da za delovanje zahteva referenčni odgovor. Vendar pa v mnogih resničnih situacijah ni dokončnega referenčnega odgovora ali edine optimalne rešitve. Avtorji študije predlagajo metodo, ki odraža človeško reševanje problemov, ustvarjanje notranjega nabora testov, ki temeljijo na njihovem razumevanju, in nato prilagajanje rešitev, dokler ne zadovoljijo večine testov.

S premikom ozkega grla natančnosti iz pravilnega sintaktičnega in semantičnega generiranja kode na pravilno sintaktično in semantično generiranje testov lahko model doseže višje stopnje natančnosti.

Prihodnost umetne inteligence in refleksije

Ko se bodo modeli umetne inteligence z zmožnostmi refleksije bolj razširili, lahko pričakujemo znatna izboljšanja v kodi, ki jo ustvari umetna inteligenca, in pri drugih kompleksnih nalogah. Z zmožnostjo iterativnega izboljševanja lastnega dela bodo modeli umetne inteligence postali učinkovitejši in uspešnejši pri reševanju problemov in ustvarjanju rešitev.

Bistveno je, da kot ljudje razmislimo o razvoju, ki ga dosegamo na področju umetne inteligence, in razmislimo o smeri, v katero jo želimo usmeriti. Ta preboj v sklepanju umetne inteligence je šele začetek in ni dvoma, da nas čakajo še bolj vznemirljivi napredki.