Pesquisadores da ServiceNow CoreAI desenvolveram o AutoSynthData, um sistema voltado para a geração automática de dados de treinamento destinados a agentes de inteligência artificial voltados ao ambiente corporativo. A proposta central da ferramenta é transformar lacunas de capacidade dos modelos em dados úteis para o processo de aprendizado, reduzindo a dependência de conjuntos de dados rotulados manualmente.
De acordo com a publicação da equipe no blog da Hugging Face, o AutoSynthData utiliza um mecanismo de curadoria baseado em duas fontes complementares de informação. A primeira são as falhas do modelo-alvo, ou seja, os tipos de tarefa em que ele apresenta desempenho insuficiente. A segunda são os acertos de um modelo professor mais robusto, que serve como referência para indicar quais habilidades devem ser reforçadas. A partir dessa combinação, o sistema decide o que o modelo deve aprender em seguida e, na sequência, gera e valida novas tarefas que exercitam essas capacidades.
Um dos diferenciais do AutoSynthData está no seu caráter adaptativo. À medida que o modelo melhora, o currículo de treinamento se desloca progressivamente para as áreas em que ele ainda encontra dificuldades. Isso significa que o processo não se baseia em um conjunto fixo de exercícios, mas se ajusta dinamicamente conforme a evolução do agente, focando nos gaps que permanecem ao longo do treinamento.
A equipe ilustra o funcionamento do pipeline com o EnterpriseOps Gym, um ambiente desenvolvido para avaliar agentes em cenários de operações empresariais. O conjunto de dados associado, disponível publicamente como ServiceNow-AI/EnterpriseOps-Gym, foi utilizado como base para demonstrar a abordagem em um ambiente controlado. Segundo os pesquisadores, as tarefas mais úteis para o treinamento de um agente dependem tanto do ambiente em que ele opera quanto do próprio modelo que está sendo treinado, e o AutoSynthData foi projetado para levar ambos os fatores em consideração.
O fluxo de funcionamento do sistema pode ser resumido em três etapas principais. Primeiro, o AutoSynthData identifica as falhas do modelo para definir o que deve ser gerado. Em seguida, as novas tarefas são validadas em relação ao ambiente, garantindo que sejam coerentes e executáveis. Por fim, as tarefas validadas são disponibilizadas para o pós-treinamento do agente. De acordo com a publicação, os resultados obtidos com o EnterpriseOps Gym evidenciam o valor dessa abordagem em um contexto controlado, e o mesmo processo pode ser reaplicado continuamente à medida que o modelo se modifica, sempre direcionando o foco para as lacunas que ainda persistem.
O trabalho foi assinado por Esakkivel Esakkiraja, Shruthan Radhakrishna, Denis Akhiyarov e Sagar Davasam, todos vinculados à equipe de ServiceNow-AI. A proposta se insere em um esforço mais amplo de pesquisa em inteligência artificial voltado para a criação de agentes corporativos, área que tem ganhado relevância com a expansão do uso de modelos generativos em fluxos de trabalho empresariais. Ao automatizar a geração de dados de treinamento a partir das próprias falhas do modelo, o AutoSynthData representa uma alternativa para reduzir custos e acelerar o desenvolvimento de agentes mais especializados em contextos corporativos.
