Amazon Bedrock AgentCore apresenta otimizador de prompts de sistema para agentes de inteligência artificial
A Amazon apresentou em um post técnico o funcionamento do otimizador de prompts de sistema integrado ao Amazon Bedrock AgentCore, plataforma da empresa voltada ao desenvolvimento e operação de agentes de inteligência artificial. A novidade automatiza um trabalho que até então exigia intervenção manual: revisar longos registros de execução do agente, identificar onde ele erra, ajustar componentes como prompts, descrições de ferramentas e habilidades, e reexecutar avaliações para verificar melhorias.
O otimizador faz parte da funcionalidade de otimização do AgentCore, já anunciada anteriormente em versão de pré-visualização. Ele utiliza rastros de produção, que são registros detalhados do comportamento do agente, combinados com um sinal de recompensa para propor mudanças de configuração. Essas sugestões são validadas por meio de avaliações em lote offline e testes A/B em tráfego real antes de serem promovidas para o ambiente de produção.
O núcleo do sistema é um componente chamado refletor, que funciona como um agente de raciocínio encarregado de analisar o comportamento do agente avaliado. Ele identifica padrões que diferenciam execuções bem-sucedidas de falhas e sugere mudanças direcionadas na configuração. No caso específico da otimização de prompts de sistema, a principal saída desse processo é um prompt revisado acompanhado de uma explicação sobre por que as alterações propostas devem melhorar a qualidade do agente.
Como os rastros de agentes costumam ser extensos e podem ultrapassar a capacidade de contexto dos modelos de linguagem, o sistema adota uma estratégia diferente de simplesmente cortar ou resumir textos. O conjunto completo de rastros é disponibilizado ao refletor por meio de um sistema de arquivos. Um avaliador pontua a coleção de rastros e grava os resultados em um diretório acessível. O refletor recebe uma ferramenta de linha de comando direcionada a esse diretório e é instruído a examinar padrões de sucesso e falha para propor atualizações na configuração.
O refletor pode listar arquivos, buscar termos específicos, ler rastros individuais, comparar saídas e examinar separadamente execuções bem-sucedidas e malsucedidas. Não há um pipeline fixo de extração de sinais ou resumo de rastros. O próprio refletor decide quais evidências são relevantes, quais comparações fazer e como traduzir essas descobertas em mudanças de configuração.
A abordagem padrão, chamada Single Agent Reflector, utiliza um único agente refletor que analisa todo o conjunto de rastros em uma única passada. Ele examina a distribuição de pontuações, investiga trechos informativos de rastros individuais, contrasta sucessos com falhas e retorna um conjunto coerente de edições na configuração. Cada ciclo de otimização repete esse processo, e rodadas adicionais podem ser executadas para buscar ganhos adicionais de qualidade em troca de mais tempo de processamento.
Uma versão experimental chamada Sub-Agent Reflector adota uma estratégia diferente. Ela utiliza um enxame de subagentes que exploram partes distintas do conjunto de rastros em paralelo, cada um operando em sua própria janela de contexto. Cada subagente realiza uma análise em três níveis sobre um único rastro: extração de recompensa, dificuldade e resultado na camada de superfície; identificação do ponto exato de decisão em que a trajetória divergiu do caminho ideal na camada de turno; e diagnóstico das razões do erro com orientação reflexiva na camada cognitiva.
Os subagentes retornam descobertas concisas e regras corretivas. Um agente orquestrador agrega esses achados, generaliza padrões recorrentes, remove duplicações e condensa as conclusões em mudanças de configuração. Esse mecanismo permite identificar modos de falha que aparecem em uma fração menor dos rastros e que poderiam passar despercebidos em uma análise única.
Antes que qualquer proposta seja aceita, ela passa por barreiras de proteção baseadas em critérios. Candidatos que aumentem a configuração em mais de vinte por cento em relação à versão anterior são rejeitados. Há também uma verificação de segurança e uma restrição que impede a reutilização de frases exatas dos rastros usados na otimização, evitando overfitting, ou seja, ajuste excessivo a características superficiais dos dados de treinamento.
Em testes comparativos nos benchmarks públicos AppWorld e WebShop, as duas abordagens foram avaliadas lado a lado com métodos já estabelecidos, chamados GEPA e MIPROv2. No AppWorld, o Single Agent Reflector atingiu 81,55 por cento de taxa de sucesso em seis minutos e vinte turnos, representando uma aceleração de 18 vezes em relação ao GEPA e de 36 vezes em relação ao MIPROv2. No WebShop, alcançou 78,31 por cento com apenas cinco turnos e um minuto de processamento.
O Sub-Agent Reflector obteve os melhores resultados nos dois benchmarks. No AppWorld, atingiu 95,83 por cento, um ganho de 23 pontos percentuais sobre a linha de base. No WebShop, alcançou 79,15 por cento, quatro pontos acima da referência. Os autores atribuíram o desempenho à análise independente de cada rastro, que captura modos de falha diversos mais facilmente ignorados em uma varredura única.
A publicação também reúne recomendações práticas, como começar com um conjunto pequeno de dez a cinquenta rastros diversificados, incorporar sinais além de uma pontuação escalar, revisar explicações antes de promover mudanças e considerar a análise independente de rastros quando há padrões de falha distintos entre diferentes subconjuntos. O trabalho destaca que o foco atual da otimização são prompts de sistema e descrições de ferramentas, mas que a mesma estrutura pode ser estendida a outros componentes do agente.
