O mundo da inteligência artificial está em constante evolução, e um avanço recente na pesquisa de IA elevou as coisas a um novo patamar. Um novo artigo apresenta o “Reflection”, um agente autônomo com memória dinâmica e capacidades de autorreflexão, permitindo que modelos de IA aprendam com seus próprios erros e melhorem ao longo do tempo. Este desenvolvimento confere aos modelos de IA habilidades de raciocínio semelhantes às humanas e promete um aumento significativo no desempenho.
O que é Reflection e por que é significativo?
Uma das maiores fraquezas dos modelos de IA atuais é sua incapacidade de aprender com seus erros. Reflection aborda isso ao fornecer a um agente memória dinâmica e capacidades de autorreflexão, aprimorando suas habilidades existentes de raciocínio, rastreamento e escolha de ações específicas para tarefas. Em termos simples, o modelo agora pode memorizar as ações que realizou, revisar essas ações e corrigir seus erros.
O ótimo dessa abordagem é que ela não se limita a modelos GPT-4; ela pode funcionar com qualquer modelo de linguagem grande sem a necessidade de ajuste fino. O modelo Reflection simplesmente avalia a função de recompensa e atualiza a ação que precisa ser tomada pelo modelo de linguagem grande original, proporcionando um grande aumento no desempenho.
O Artigo Original sobre Reflection
O artigo original sobre Reflection apresenta resultados em dois conjuntos de dados diferentes, demonstrando sua capacidade de raciocínio:
- Hotpot QA: Um conjunto de dados para perguntas e respostas diversas, explicáveis e de múltiplas etapas, exigindo que o modelo de linguagem raciocine através de múltiplos documentos.
- ELF World: Alinhando texto e ambientes incorporados para aprendizado interativo, combinando entradas e saídas de texto com o mundo físico, permitindo que o modelo interaja com o mundo físico usando comandos de texto.
Adicionar reflection a esses modelos levou a melhorias de desempenho significativas, sem a necessidade de ajuste fino.
Desfazendo Equívocos Sobre o Artigo
Muitas pessoas acreditam erroneamente que o artigo usa GPT-4, mas na verdade ele usa GPT-3 e 3.5 (ChatGPT). Essa distinção é significativa porque abre a possibilidade de combinar reflection com Auto GPT, permitindo que modelos de IA modifiquem tarefas em tempo real, proporcionando inteligência verdadeira.
Reflection em Ação: Um Exemplo
Em uma tarefa Hotpot QA, o modelo precisava encontrar o nome de um ator mais conhecido por um papel em um programa específico. Após uma tentativa inicial malsucedida, o modelo usou reflection para identificar o erro em sua estratégia de busca, corrigi-lo e, por fim, encontrar a resposta correta. É exatamente assim que um humano abordaria um problema, refletindo sobre seus erros e ajustando sua estratégia de acordo.
Limitações e Abordando Situações Sem Verdade Absoluta Definitiva
Uma grande limitação do artigo é que ele exige verdade absoluta para funcionar. No entanto, em muitas situações do mundo real, não existe uma verdade absoluta definitiva ou uma única solução ideal. Os autores do artigo propõem um método que espelha a resolução de problemas humana, criando um conjunto de testes interno com base em seu entendimento e, em seguida, ajustando as soluções até que satisfaçam a maioria dos testes.
Ao mudar o gargalo de precisão da geração correta de código sintático e semântico para a geração correta de testes sintáticos e semânticos, o modelo pode atingir taxas de precisão mais altas.
O Futuro da IA e Reflection
À medida que os modelos de IA com capacidades de reflection se tornam mais difundidos, podemos esperar ver melhorias significativas no código gerado por IA e em outras tarefas complexas. Com a capacidade de melhorar iterativamente seu próprio trabalho, os modelos de IA se tornarão mais eficientes e eficazes na resolução de problemas e geração de soluções.
É essencial para nós, como humanos, refletirmos sobre os desenvolvimentos que estamos fazendo em IA e considerarmos a direção que queremos seguir. Este avanço no raciocínio de IA é apenas o começo, e não há dúvida de que avanços mais empolgantes estão por vir.
Vídeo por Prompt Engineering
Referências:
- Artigo sobre Reflection: https://arxiv.org/pdf/2303.11366.pdf
- Blogpost Refletindo sobre Reflection: https://nanothoughts.substack.com/p/reflecting-on-reflexion
- Artigo HotpotQA: https://arxiv.org/pdf/1809.09600.pdf
- Artigo Alfworld: https://arxiv.org/pdf/2010.03768.pdf
- AutoGPT: https://github.com/Torantulino/Auto-GPT
- HumanEval: https://arxiv.org/pdf/2107.03374.pdf