인공지능 세계는 끊임없이 진화하고 있으며, 최근 인공지능 연구 분야의 획기적인 발전으로 한 단계 더 나아가게 되었습니다. 새로운 논문에서는 ‘Reflection’이라는 동적 메모리 및 자기 성찰 능력을 갖춘 자율 에이전트를 소개합니다. 이를 통해 AI 모델은 스스로의 실수로부터 배우고 시간이 지남에 따라 개선될 수 있습니다. 이러한 발전은 AI 모델에 인간과 유사한 추론 능력을 부여하고 성능의 상당한 향상을 약속합니다.
Reflection이란 무엇이며 왜 중요한가?
현재 AI 모델의 가장 큰 약점 중 하나는 실수로부터 배우는 능력이 부족하다는 것입니다. Reflection은 에이전트에게 동적 메모리 및 자기 성찰 능력을 부여하여 기존의 추론, 추적 및 작업별 행동 선택 능력을 향상시켜 이 문제를 해결합니다. 간단히 말해서, 이제 모델은 수행한 작업을 기억하고, 해당 작업을 검토하고, 실수를 수정할 수 있습니다.
이 접근 방식의 가장 큰 장점은 GPT-4 모델에만 국한되지 않는다는 것입니다. 미세 조정 없이도 모든 대규모 언어 모델과 함께 작동할 수 있습니다. Reflection 모델은 단순히 보상 함수를 평가하고 원래의 대규모 언어 모델이 취해야 할 조치를 업데이트하여 성능을 크게 향상시킵니다.
원 논문: Reflection
원 논문에서는 추론 능력을 보여주는 두 가지 데이터 세트에 대한 결과를 제시합니다.
- Hotpot QA: 다양한 설명 가능한 다단계 질의 응답을 위한 데이터 세트로, 언어 모델이 여러 문서를 통해 추론해야 합니다.
- ELF World: 텍스트 및 구현 환경을 상호 작용 학습을 위해 조정하는 것으로, 텍스트 입력 및 출력을 물리적 세계와 결합하여 모델이 텍스트 프롬프트를 사용하여 물리적 세계와 상호 작용할 수 있도록 합니다.
이러한 모델에 Reflection을 추가하면 미세 조정 없이도 상당한 성능 향상을 가져왔습니다.
논문에 대한 오해 풀기
많은 사람들이 논문에서 GPT-4를 사용한다고 오해하지만, 실제로는 GPT-3 및 3.5(ChatGPT)를 사용합니다. 이러한 차이점은 Reflection을 Auto GPT와 결합하여 AI 모델이 즉석에서 작업을 수정할 수 있게 하고 진정한 지능을 제공할 가능성을 열어준다는 점에서 중요합니다.
실제 Reflection: 예시
Hotpot QA 작업에서 모델은 특정 쇼에서 역할로 가장 잘 알려진 배우의 이름을 찾아야 했습니다. 초기 실패한 시도 후, 모델은 Reflection을 사용하여 검색 전략의 실수를 식별하고 수정하여 궁극적으로 정답을 찾았습니다. 이것은 정확히 인간이 문제에 접근하는 방식, 즉 자신의 실수를 되돌아보고 그에 따라 전략을 조정하는 방식입니다.
한계점 및 명확한 정답이 없는 상황 해결
논문의 주요 한계점 중 하나는 작동하려면 정답이 필요하다는 것입니다. 그러나 많은 실제 상황에서는 명확한 정답이나 단일 최적 솔루션이 없습니다. 논문의 저자들은 인간의 문제 해결 방식을 반영하는 방법을 제안합니다. 즉, 그들의 이해를 바탕으로 내부 테스트 스위트를 만들고 대부분의 테스트를 만족할 때까지 솔루션을 조정합니다.
정확도 병목 현상을 올바른 구문 및 의미론적 코드 생성에서 올바른 구문 및 의미론적 테스트 생성으로 전환함으로써 모델은 더 높은 정확도를 달성할 수 있습니다.
인공지능과 Reflection의 미래
Reflection 기능을 갖춘 AI 모델이 더욱 널리 보급됨에 따라 AI 생성 코드 및 기타 복잡한 작업에서 상당한 개선이 이루어질 것으로 예상할 수 있습니다. AI 모델은 자신의 작업을 반복적으로 개선하는 능력을 통해 문제를 해결하고 솔루션을 생성하는 데 더욱 효율적이고 효과적이 될 것입니다.
우리 인간은 AI 분야에서 이루고 있는 발전에 대해 되돌아보고 우리가 어떤 방향으로 나아가고 싶은지 고려하는 것이 필수적입니다. 인공지능 추론의 이러한 획기적인 발전은 시작에 불과하며, 앞으로 더 흥미로운 발전이 있을 것이라는 데는 의심의 여지가 없습니다.
Prompt Engineering의 비디오
참고 자료:
- Reflexion paper: https://arxiv.org/pdf/2303.11366.pdf
- Reflecting on Reflexion Blogpost: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- HotpotQA paper: https://arxiv.org/pdf/1809.09600.pdf
- Alfworld paper: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf