NVIDIA apresenta NeMo Relay para rastrear o comportamento de agentes de inteligência artificial
A NVIDIA detalhou em seu blog para desenvolvedores uma nova abordagem para observar e controlar a execução de agentes de inteligência artificial por meio do NeMo Relay, uma camada de tempo de execução voltada ao monitoramento do comportamento de modelos de linguagem e ferramentas durante a realização de tarefas automatizadas.
Segundo a publicação, um agente de IA pode concluir uma tarefa com sucesso e ainda assim seguir um caminho ineficiente. Uma busca que falha pode disparar outra busca. A leitura truncada de um arquivo pode levar o sistema a executar um comando para buscar o mesmo conteúdo novamente. Como a resposta final acaba sendo correta, esses passos extras costumam passar despercebidos, mesmo consumindo mais tokens e aumentando a latência. Cada ineficiência representa também uma chance adicional de falha.
Para enfrentar esse problema, o NeMo Relay atua como uma camada comum de observabilidade que captura eventos ordenados do ciclo de vida e trajetórias estruturadas das execuções dos agentes. A ferramenta preserva o registro temporal das ações e as relações entre chamadas, permitindo que desenvolvedores identifiquem gargalos, redundâncias e comportamentos inesperados em seus sistemas.
A solução utiliza dois formatos principais de rastreamento. O ATOF preserva os eventos ordenados do ciclo de vida da execução, enquanto o ATIF apresenta o mesmo trabalho em formato de trajetória legível. A combinação desses rastros com um verificador determinístico permite comparar mudanças no agente sem confundir a redução no número de chamadas com uma melhora real de desempenho.
O NeMo Relay se integra nativamente ao Hermes Agent, um framework de agentes bastante utilizado pela comunidade. Por meio dessa integração, o sistema gera fluxos de eventos no formato ATOF, trajetórias passo a passo no formato ATIF e spans do OpenTelemetry com rótulos do OpenInference, que podem ser visualizados em ferramentas de inspeção como o Arize Phoenix.
De acordo com a NVIDIA, o NeMo Relay representa sessões, turnos, chamadas de modelo e chamadas de ferramentas em uma hierarquia própria de escopos. Quando o trabalho começa e termina, o sistema registra os eventos do ciclo de vida, mantendo o controle do tempo e das relações entre componentes pai e filho. Essa estrutura facilita a análise detalhada de cada etapa da execução do agente.
A empresa também esclarece que o NeMo Relay não é apenas um exportador de dados de observabilidade nem um protocolo entre cliente e agente. Quando integrado em pontos de chamada gerenciada ou em gateways, a ferramenta pode participar do controle de políticas e da execução, preservando o framework principal do agente como o proprietário da sessão.
O NeMo Relay se posiciona como uma camada intermediária no ecossistema de frameworks para agentes, conectando sistemas que utilizam NeMo Agent Toolkit, LangChain, LangGraph, SDKs de provedores e código personalizado de orquestração. Em vez de exigir uma API comum para todas as camadas, a ferramenta se conecta aos hooks de ferramentas, modelos e ciclo de vida já existentes em cada framework.
Dessa forma, a NVIDIA busca oferecer aos desenvolvedores um instrumento padronizado para diagnosticar falhas, comparar alterações e tornar mais previsível o comportamento dos agentes de inteligência artificial em ambientes de produção, contribuindo para a evolução de sistemas autônomos mais eficientes e transparentes.
