Le monde de l’intelligence artificielle est en constante évolution, et une récente percée dans la recherche sur l’IA a propulsé les choses à un niveau supérieur. Un nouvel article présente « Reflection », un agent autonome doté d’une mémoire dynamique et de capacités d’autoréflexion, permettant aux modèles d’IA d’apprendre de leurs propres erreurs et de s’améliorer au fil du temps. Ce développement confère aux modèles d’IA des capacités de raisonnement semblables à celles des humains et promet une amélioration significative des performances.
Qu’est-ce que Reflection et pourquoi est-ce important ?
L’une des plus grandes faiblesses des modèles d’IA actuels est leur incapacité à tirer des leçons de leurs erreurs. Reflection remédie à cela en dotant un agent d’une mémoire dynamique et de capacités d’autoréflexion, améliorant ainsi leurs capacités existantes de raisonnement, de traçage et de choix d’actions spécifiques à une tâche. En termes simples, le modèle peut désormais mémoriser les actions qu’il a entreprises, examiner ces actions et corriger ses erreurs.
Le grand avantage de cette approche est qu’elle ne se limite pas aux modèles GPT-4 ; elle peut fonctionner avec n’importe quel grand modèle linguistique sans nécessiter de réglage fin. Le modèle de réflexion évalue simplement la fonction de récompense et met à jour l’action qui doit être entreprise par le modèle linguistique original, ce qui permet d’augmenter considérablement les performances.
L’article original sur Reflection
L’article original sur Reflection présente des résultats sur deux ensembles de données différents, mettant en évidence sa capacité à raisonner :
- Hotpot QA : un ensemble de données pour des questions-réponses diverses et explicables à sauts multiples, obligeant le modèle linguistique à raisonner à travers de multiples documents.
- ELF World : aligner le texte et les environnements incarnés pour un apprentissage interactif, combinant les entrées et sorties textuelles avec le monde physique, permettant au modèle d’interagir avec le monde physique en utilisant des invites textuelles.
L’ajout de la réflexion à ces modèles a conduit à des améliorations significatives des performances, sans nécessiter de réglage fin.
Dissipation des idées fausses concernant l’article
Beaucoup de gens croient à tort que l’article utilise GPT-4, mais il utilise en fait GPT-3 et 3.5 (ChatGPT). Cette distinction est importante car elle ouvre la possibilité de combiner la réflexion avec Auto GPT, permettant aux modèles d’IA de modifier les tâches à la volée, offrant une véritable intelligence.
Reflection en action : un exemple
Dans une tâche Hotpot QA, le modèle devait trouver le nom d’un acteur surtout connu pour un rôle dans une émission spécifique. Après une première tentative infructueuse, le modèle a utilisé la réflexion pour identifier l’erreur dans sa stratégie de recherche, la corriger et finalement trouver la bonne réponse. C’est exactement ainsi qu’un humain aborderait un problème, en réfléchissant à ses erreurs et en ajustant sa stratégie en conséquence.
Limites et gestion des situations sans vérité fondamentale définitive
Une limitation majeure de l’article est qu’il nécessite une vérité fondamentale pour fonctionner. Cependant, dans de nombreuses situations du monde réel, il n’existe pas de vérité fondamentale définitive ou de solution optimale unique. Les auteurs de l’article proposent une méthode qui imite la résolution de problèmes humaine, en créant une suite de tests internes basée sur leur compréhension, puis en ajustant les solutions jusqu’à ce qu’elles satisfassent à la plupart des tests.
En déplaçant le goulot d’étranglement de la précision de la génération de code syntaxique et sémantique correcte vers la génération de tests syntaxiques et sémantiques corrects, le modèle peut atteindre des taux de précision plus élevés.
L’avenir de l’IA et de la réflexion
À mesure que les modèles d’IA dotés de capacités de réflexion se généralisent, nous pouvons nous attendre à des améliorations significatives du code généré par l’IA et d’autres tâches complexes. Grâce à la capacité d’améliorer itérativement leur propre travail, les modèles d’IA deviendront plus efficaces et performants pour résoudre des problèmes et générer des solutions.
Il est essentiel pour nous, en tant qu’humains, de réfléchir aux développements que nous réalisons dans le domaine de l’IA et de considérer la direction que nous voulons lui donner. Cette avancée dans le raisonnement de l’IA n’est que le début, et il ne fait aucun doute que d’autres progrès passionnants nous attendent.
Vidéo par Prompt Engineering
Références :
- Article sur Reflexion : https://arxiv.org/pdf/2303.11366.pdf
- Billet de blog Reflecting on Reflexion : https://nanothoughts.substack.com/p/reflecting-on-reflexion
- Article sur HotpotQA : https://arxiv.org/pdf/1809.09600.pdf
- Article sur Alfworld : https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT : https://github.com/Torantulino/Auto-GPT
- HumanEval : https://arxiv.org/pdf/2107.03374.pdf