A Siemens EDA conseguiu elevar a pontuação composta de verificação de seu agente de inteligência artificial para o projeto de chips de aproximadamente 55% para cerca de 95%, ao mesmo tempo em que reduziu em 66% o número de turnos de execução do sistema. O avanço foi alcançado com o uso do NVIDIA NeMo Gym, uma biblioteca aberta destinada a avaliar e aprimorar modelos e agentes por meio de ambientes de teste, e foi detalhado no blog técnico para desenvolvedores da NVIDIA por Joshua Mabry, Chris Wing, Niranjan Sitapure, Kenton DeLathouwer e Ming Ming Zhang.
A publicação parte de um problema central da área: agentes de IA, programas capazes de executar tarefas de forma autônoma com apoio de ferramentas, entregam ganhos expressivos de produtividade em fluxos de trabalho complexos de projeto de semicondutores, porém tendem a gerar artefatos plausíveis, embora incorretos. Essa característica transforma a confiabilidade em uma barreira importante para a adoção desses sistemas em ambientes de produção, já que um resultado que parece correto à primeira vista pode conter falhas difíceis de detectar.
O risco se amplia em fluxos de engenharia compostos por múltiplas etapas. Segundo a NVIDIA, um erro não detectado no início da configuração pode se propagar silenciosamente pelas fases seguintes do processo até alcançar a geração do artefato final. Nesse cenário, avaliar o agente apenas por meio de verificações pontuais e isoladas não é suficiente, porque o problema pode nascer em um estágio intermediário e só se manifestar no resultado entregue.
É nesse ponto que entra o NeMo Gym, biblioteca de código aberto criada para avaliar e melhorar modelos e agentes por meio de ambientes. O ambiente de avaliação agentiva da ferramenta foi projetado para diagnosticar modos de falha e rastrear a propagação de erros ao longo de fluxos de trabalho complexos e divididos em várias etapas. A proposta é oferecer aos engenheiros uma visão completa do comportamento do agente, e não apenas fragmentos desconectados de sua atuação.
Um dos mecanismos centrais dessa abordagem é o estabelecimento de um verificador específico do domínio, que inspeciona as saídas finais do agente em comparação com artefatos de referência já verificados. Com esse recurso, o NeMo Gym permite rastrear trajetórias completas de execução e identificar as causas-raiz por trás de erros sutis. Em vez de avaliar isoladamente cada chamada de ferramenta realizada pelo agente, o método concentra o exame no produto final do trabalho, onde os desvios acumulados se tornam visíveis.
O caso de uso apresentado pela NVIDIA envolve o Siemens Fuse EDA AI Agent, aplicado à geração de arquivos Liberty, documentos no formato .lib que descrevem características elétricas de células padrão, os blocos fundamentais que compõem circuitos digitais em um chip. Esse processo, conhecido como caracterização de células padrão, exige precisão elevada, e o agente foi submetido a avaliações dentro do NeMo Gym para medir a qualidade do que produzia.
A partir da análise das trajetórias de execução, a equipe pôde refinar o funcionamento do agente com base em diagnósticos concretos. O resultado foi um salto expressivo no teste de avaliação representativo: a pontuação composta de verificação subiu de aproximadamente 55% para cerca de 95%, enquanto a quantidade de turnos de execução do agente caiu 66%. Com isso, o sistema passou a entregar resultados mais precisos consumindo menos iterações para chegar à resposta final.
A experiência da Siemens EDA ilustra um caminho concreto para superar o desafio da confiabilidade em agentes voltados à engenharia de semicondutores, tema que tem ganhado espaço na indústria. Em vez de aceitar saídas plausíveis como suficientes, a metodologia baseada em verificadores de domínio e no rastreamento de trajetórias completa a lacuna que separava demonstrações promissoras de sistemas prontos para produção, onde erros silenciosos podem comprometer etapas inteiras de um projeto.
O NeMo Gym, que é um componente do ecossistema NVIDIA NeMo e está disponível como biblioteca aberta, pode ser acessado por engenheiros e pesquisadores interessados em aplicar o mesmo processo de avaliação e refinamento a seus próprios agentes, diretamente no repositório oficial no GitHub.
