Monitoramento em duas camadas: como avaliar agentes de IA em produção sem perder falhas silenciosas
Sistemas baseados em múltiplos agentes de inteligência artificial em ambiente de produção apresentam falhas que o monitoramento tradicional de infraestrutura não consegue identificar. Um agente pode deixar de chamar seu modelo de linguagem e retornar uma resposta vazia por falta de permissão de acesso, sem que isso gere um erro visível nos sistemas de monitoramento. Da mesma forma, um agente supervisor com instruções mal definidas pode começar a direcionar parte das solicitações para um agente especialista errado enquanto os indicadores de infraestrutura continuam sinalizando operação normal.
Esse cenário mostra que monitorar apenas a infraestrutura não é suficiente para garantir que um sistema multiagente realmente funcione. Ferramentas como o Amazon CloudWatch indicam se os serviços foram executados corretamente, mas não revelam se o agente atendeu às necessidades do usuário. Um sistema pode invocar o Amazon Bedrock, acionar todas as ferramentas sem erros e ainda assim responder de forma completamente desalinhada ao que foi pedido. Problemas de infraestrutura frequentemente se manifestam como comportamento degradado do agente, e não como falhas explícitas.
A solução proposta combina duas camadas complementares de monitoramento. A primeira camada utiliza o Amazon Bedrock AgentCore Evaluations, que avalia continuamente a qualidade das interações dos agentes em produção. Esse sistema amostra uma porcentagem configurável das solicitações e atribui notas com base em critérios como utilidade da resposta, correção das informações e taxa de sucesso na conclusão dos objetivos do usuário. Cada nota vem acompanhada de uma explicação sobre por que aquela avaliação foi atribuída, considerando o contexto da conversa, as ferramentas utilizadas e os requisitos da tarefa.
Quando os indicadores de qualidade caem, o mecanismo de análise por inteligência artificial identifica padrões recorrentes entre as sessões com notas baixas. Ele consegue detectar, por exemplo, se o agente está escolhendo a ferramenta errada para um determinado tipo de pedido ou se está entregando informações corretas em um formato pouco útil. A partir dessa análise, o sistema gera recomendações concretas, como ajustes específicos nos prompts, mudanças na seleção de ferramentas ou melhorias na lógica de orquestração.
A segunda camada de monitoramento é o AWS DevOps Agent, um agente autônomo de investigação de infraestrutura que atua como um engenheiro de plantão. Quando uma anomalia é registrada, ele analisa logs do CloudWatch, constrói um grafo de topologia dos recursos afetados, correlaciona erros entre serviços diferentes e rastreia o caminho da falha até identificar a causa raiz. O sistema entrega recomendações específicas de correção, conectando por exemplo uma resposta em branco do agente a uma permissão ausente ou um pico de timeouts a um throttling do Amazon Bedrock em uma determinada região.
Para demonstrar essa arquitetura na prática, os pesquisadores construíram um sistema de reserva de passagens aéreas composto por quatro agentes especializados no padrão Swarm, um modelo de orquestração em que um agente supervisor distribui dinamicamente as tarefas para agentes de voo, usuário e reserva. Esses agentes compartilham uma memória de trabalho e repassam tarefas entre si de acordo com o contexto, sem seguir um fluxo de execução fixo. Essa flexibilidade permite lidar com solicitações complexas, como reservas com múltiplos trechos, uso de certificados de companhia aérea e aplicação de políticas corporativas de viagem, mas também dificulta a instrumentação tradicional.
O sistema foi implantado na plataforma Amazon Bedrock AgentCore, que oferece ambiente de execução para agentes com observabilidade integrada por meio do OpenTelemetry. Os dados de telemetria, como métricas operacionais, rastros de execução distribuída e notas de qualidade, são consolidados no Amazon CloudWatch. A interface do usuário foi construída em React e hospedada no AWS Amplify, com autenticação gerenciada pelo AgentCore Identity.
Na configuração do sistema de reservas, foram selecionados três avaliadores padrão do AgentCore: utilidade, correção e taxa de sucesso do objetivo. Esses critérios cobrem as dimensões fundamentais de desempenho percebidas pelo usuário final, equilibrando a qualidade das respostas individuais com a eficácia da interação completa. Métricas adicionais estão disponíveis, mas a recomendação é evitar excesso de indicadores para manter a clareza na análise e reduzir custos de avaliação.
Como complemento às avaliações assíncronas, o Amazon Bedrock Guardrails oferece uma camada de proteção síncrona que atua sobre cada resposta antes de ser entregue ao usuário. Esse mecanismo permite bloquear conteúdo inadequado, recusar tópicos fora do escopo, verificar se as respostas estão fundamentadas em fontes reais e mascarar dados pessoais sensíveis. Enquanto as avaliações identificam quedas de qualidade ao longo do tempo, os Guardrails funcionam como uma rede de segurança em tempo real para cada interação.
Quando um incidente de infraestrutura ocorre, como a interrupção súbita das respostas do agente de reservas, o AWS DevOps Agent investiga automaticamente os logs, identifica a falha e apresenta a causa raiz. Em um caso registrado pelos pesquisadores, a ferramenta detectou que todas as chamadas ao Amazon Bedrock estavam sendo negadas por ausência da permissão bedrock:InvokeModel na função de execução, o que fazia o agente supervisor devolver uma saída em branco. O sistema também sugeriu ações de remediação, incluindo a concessão da permissão faltante e o ajuste do escopo das políticas de acesso.
A combinação das duas camadas de monitoramento cria um ciclo contínuo de melhoria em que os dados de produção orientam ajustes nos prompts, nas ferramentas e na infraestrutura. Para equipes que já operam sistemas multiagente ou estão iniciando essa jornada, a abordagem mostra que medir qualidade, investigar falhas automaticamente e iterar com base em evidências concretas é viável em escala.
