Светът на изкуствения интелект непрекъснато се развива и скорошен пробив в изследванията на AI издигна нещата на следващо ниво. В нов научен труд е представен „Reflection“ (Размисъл) – автономен агент с динамична памет и способности за саморефлексия, позволяващ на AI моделите да се учат от собствените си грешки и да се подобряват с времето. Тази разработка дава на AI моделите човекоподобни способности за разсъждение и обещава значително повишаване на производителността.
Какво е Reflection и защо е значимо?
Един от най-големите недостатъци на настоящите AI модели е тяхната неспособност да се учат от грешките си. Reflection се справя с този проблем, като дава на агента динамична памет и способности за саморефлексия, подобрявайки съществуващите им способности за разсъждение, проследяване и избор на действия, специфични за задачата. Казано по-просто, моделът вече може да запаметява действията, които е предприел, да преглежда тези действия и да коригира грешките си.
Хубавото на този подход е, че не е ограничен до GPT-4 модели; той може да работи с всеки голям езиков модел без необходимост от донастройка. Моделът за размисъл просто оценява функцията за възнаграждение и актуализира действието, което трябва да бъде предприето от оригиналния голям езиков модел, осигурявайки огромно увеличение на производителността.
Оригиналният научен труд за Reflection
Оригиналният научен труд за reflection представя резултати от два различни набора от данни, демонстриращи способността му да разсъждава:
- Hotpot QA: набор от данни за разнообразни, обясними въпроси и отговори с много преходи, изискващ от езиковия модел да разсъждава през множество документи.
- ELF World: Съгласуване на текст и въплътени среди за интерактивно обучение, комбиниране на текстови входове и изходи с физическия свят, позволяващо на модела да взаимодейства с физическия свят, използвайки текстови подкани.
Добавянето на reflection към тези модели доведе до значителни подобрения в производителността, без нужда от донастройка.
Развенчаване на погрешни схващания за научния труд
Много хора погрешно смятат, че научният труд използва GPT-4, но всъщност използва GPT-3 и 3.5 (ChatGPT). Това разграничение е значимо, защото отваря възможността за комбиниране на reflection с Auto GPT, позволявайки на AI моделите да променят задачи в движение, осигурявайки истински интелект.
Reflection в действие: Пример
В задача Hotpot QA моделът трябваше да намери името на актьор, най-известен с роля в конкретно шоу. След първоначален неуспешен опит, моделът използва reflection, за да идентифицира грешката в стратегията си за търсене, да я коригира и в крайна сметка да намери верния отговор. Точно така би подходил човек към проблем, размишлявайки върху грешките си и коригирайки стратегията си съответно.
Ограничения и справяне със ситуации без дефинитивна основна истина
Едно основно ограничение на научния труд е, че той изисква основна истина, за да работи. Въпреки това, в много ситуации от реалния свят няма дефинитивна основна истина или единствено оптимално решение. Авторите на научния труд предлагат метод, който отразява човешкото решаване на проблеми, създавайки вътрешен набор от тестове въз основа на тяхното разбиране и след това коригирайки решенията, докато те не удовлетворят повечето от тестовете.
Чрез преместване на тесния участък на точността от правилно синтактично и семантично генериране на код към правилно синтактично и семантично генериране на тестове, моделът може да постигне по-високи нива на точност.
Бъдещето на AI и Reflection
Тъй като AI модели със способности за reflection стават по-разпространени, можем да очакваме да видим значителни подобрения в AI-генериран код и други сложни задачи. Със способността итеративно да подобряват собствената си работа, AI моделите ще станат по-ефикасни и ефективни в решаването на проблеми и генерирането на решения.
От съществено значение е за нас като хора да разсъждаваме върху разработките, които правим в AI, и да обмислим посоката, в която искаме да го насочим. Този пробив в AI разсъжденията е само началото и няма съмнение, че ни предстоят още много вълнуващи постижения.
Видео от Prompt Engineering
Източници:
- Научен труд за Reflexion: https://arxiv.org/pdf/2303.11366.pdf
- Размисли върху Reflexion Blogpost: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- Научен труд за HotpotQA: https://arxiv.org/pdf/1809.09600.pdf
- Научен труд за Alfworld: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf