A NVIDIA publicou, em seu blog oficial na plataforma Hugging Face, um trabalho sobre o escalonamento do pré-treinamento de grandes modelos de linguagem para línguas índicas. A iniciativa, que contou com a parceria do AI4Bharat, grupo de pesquisa vinculado ao IIT Madras, na Índia, resultou em um corpus com 2,8 trilhões de tokens, acompanhado de um pipeline aberto de geração de dados. No contexto de inteligência artificial, um token é a unidade básica de texto que o modelo processa, e o pré-treinamento é a fase em que a IA aprende padrões linguísticos a partir de grandes volumes de dados.
O projeto aborda uma lacuna relevante no campo dos grandes modelos de linguagem: a oferta de dados de treinamento em alta escala para idiomas falados na Índia. O material divulgado descreve um pipeline aberto, ou seja, um conjunto de etapas documentadas que outros pesquisadores podem reproduzir para gerar seus próprios dados de treinamento. A empresa também tornou públicos relatórios técnicos que detalham a composição do corpus, os métodos de geração empregados, os experimentos realizados e os procedimentos de avaliação adotados ao longo do trabalho.
Entre os documentos complementares citados na publicação estão o relatório sobre escalonamento de dados sintéticos de pré-treinamento e avaliação para grandes modelos de linguagem índicos, além do relatório técnico do Nemotron 3.5 Super VL e Lightning. Juntos, esses materiais oferecem a base metodológica por trás do novo corpus e do processo de construção dos dados, permitindo que a comunidade técnica acompanhe como o volume de 2,8 trilhões de tokens foi organizado e verificado.
A avaliação dos modelos é tratada como a outra metade do esforço. Paralelamente ao corpus, o AI4Bharat, com apoio da NVIDIA, desenvolve o Indic-LLM-Eval-Suite, uma coleção aberta e em constante evolução de benchmarks voltados às capacidades de modelos em línguas índicas. Benchmarks são conjuntos de testes padronizados usados para medir o desempenho de sistemas de IA. Segundo a publicação, o objetivo da suíte é permitir que criadores de modelos avaliem tanto o desempenho em tarefas quanto a qualidade linguística de suas criações.
O anúncio do pacote de avaliação foi feito em uma publicação própria, também assinada pela NVIDIA e pelo AI4Bharat, no blog da empresa no Hugging Face. A autoria do artigo sobre o pré-treinamento índico reúne oito pesquisadores da NVIDIA: Will Jennings, Kiran Praveen, Sriharsha Niverty, Raviraj Joshi, Markus Kliegl, Yev Meyer e Utkarsh Vaidya.
O trabalho combina três frentes complementares: um corpus massivo de 2,8 trilhões de tokens para pré-treinamento em línguas índicas, um pipeline aberto de geração de dados reutilizável pela comunidade e uma suíte de benchmarks em desenvolvimento para medir tanto tarefas quanto qualidade de linguagem. Os detalhes técnicos completos estão nos relatórios que acompanham o anúncio, publicados no blog da NVIDIA no Hugging Face.
