人工知能の世界は常に進化しており、最近のAI研究におけるブレークスルーによって、状況は新たなレベルに引き上げられました。新しい論文で紹介された「Reflection」は、動的な記憶と自己反省能力を備えた自律エージェントであり、AIモデルが自身の過ちから学習し、時間とともに改善することを可能にします。この開発により、AIモデルは人間のような推論能力を獲得し、パフォーマンスの大幅な向上を約束します。
Reflectionとは何か、そしてなぜ重要なのか？
現在のAIモデルの最大の弱点の1つは、自身の過ちから学習する能力が欠如していることです。Reflectionは、エージェントに動的な記憶と自己反省能力を与えることで、既存の推論、トレース、およびタスク固有のアクション選択能力を強化することにより、この課題に対処します。簡単に言えば、このモデルは、自身が取ったアクションを記憶し、それらのアクションをレビューし、過ちを修正することができるようになりました。
このアプローチの素晴らしい点は、GPT-4モデルに限定されず、ファインチューニングを必要とせずに、あらゆる大規模言語モデルで機能することです。reflectionモデルは、報酬関数を評価し、元の言語モデルが取るべきアクションを更新するだけで、パフォーマンスを大幅に向上させます。
オリジナルのReflection論文
オリジナルのreflection論文では、推論能力を示す2つの異なるデータセットに関する結果が提示されています。
- Hotpot QA：多様で説明可能なマルチホップ質問応答のためのデータセットであり、言語モデルが複数のドキュメントを推論することを要求します。
- ELF World：テキストと具体化された環境をインタラクティブな学習のために連携させ、テキスト入力と出力を物理世界と組み合わせ、モデルがテキストプロンプトを使用して物理世界と対話できるようにします。
これらのモデルにreflectionを追加することで、ファインチューニングを必要とせずに、パフォーマンスが大幅に向上しました。
論文に関する誤解を払拭する
多くの人々が誤って、この論文はGPT-4を使用していると信じていますが、実際にはGPT-3と3.5（ChatGPT）を使用しています。この区別は重要です。なぜなら、ReflectionをAuto GPTと組み合わせる可能性を開き、AIモデルがその場でタスクを変更できるようにし、真の知能を提供することができるからです。
Reflectionの実際の動作：例
Hotpot QAタスクにおいて、モデルは特定の番組での役割で最もよく知られている俳優の名前を見つける必要がありました。最初の試みが失敗した後、モデルはreflectionを使用して検索戦略の誤りを特定し、それを修正し、最終的に正解を見つけました。これはまさに人間が問題に取り組む方法であり、自身の過ちを反省し、それに応じて戦略を調整するのです。
限界と明確な正解がない状況への対処
この論文の大きな限界の1つは、機能させるために正解（ground truth）を必要とすることです。しかし、多くの現実世界の状況では、明確な正解や単一の最適な解決策はありません。論文の著者は、人間の問題解決を模倣する方法を提案しており、自身の理解に基づいて内部テストスイートを作成し、ほとんどのテストを満たすまで解決策を調整します。
正確さのボトルネックを、正しい構文および意味論的なコード生成から、正しい構文および意味論的なテスト生成に移行することで、モデルはより高い精度率を達成できます。
AIとReflectionの未来
reflection能力を備えたAIモデルがより普及するにつれて、AIによって生成されたコードやその他の複雑なタスクにおいて、大幅な改善が見込まれます。自身の作業を反復的に改善する能力により、AIモデルは問題解決やソリューションの生成において、より効率的かつ効果的になるでしょう。
私たち人間がAIで行っている開発を反省し、どのような方向に進みたいかを検討することが不可欠です。このAI推論におけるブレークスルーはほんの始まりに過ぎず、今後さらにエキサイティングな進歩が待ち受けていることは間違いありません。
Prompt Engineeringによる動画
参考文献：
- Reflexion論文： https://arxiv.org/pdf/2303.11366.pdf
- Reflecting on Reflexionブログ記事： https://nanothoughts.substack.com/p/reflecting-on-reflexion
- HotpotQA論文： https://arxiv.org/pdf/1809.09600.pdf
- Alfworld論文： https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT： https://github.com/Torantulino/Auto-GPT
- HumanEval： https://arxiv.org/pdf/2107.03374.pdf