Generalist AI apresenta GEN-1.5, modelo de fundação para robôs que aprende tarefas a partir de uma única demonstração
A empresa Generalist AI anunciou o GEN-1.5, um modelo de fundação para robótica capaz de aprender uma nova tarefa física a partir de uma única demonstração de três a doze segundos. O sistema não exige atualizações de parâmetros, ajustes finos ou qualquer reprogramação específica para a tarefa, bastando inserir o exemplo diretamente em sua janela de contexto.
O GEN-1.5 é um grande modelo multimodal que recebe como entrada vídeo, dados de sensores, comandos em linguagem e informações proprioceptivas, ou seja, dados sobre a posição e o movimento das articulações do próprio robô. O modelo mantém trinta segundos de memória em sua janela de contexto e emite trajetórias de ação a cem hertz, o que representa cem comandos de movimento por segundo. Segundo a empresa, o modelo passou por mais de oito meses de pré-treinamento contínuo com dados de interação física real captados em residências, armazéns e fábricas.
A Generalist AI batizou o mecanismo principal de physical prompting, ou comando físico. Na prática, basta arrastar e soltar um exemplo sensório-motor, composto por fluxos de sensores acompanhados da trajetória de ações, na janela de contexto do modelo. O restante da janela é preenchido com observações em tempo real, e o robô executa a tarefa imediatamente, sem nenhum passo de gradiente, que são os cálculos matemáticos usados para ajustar os parâmetros internos de um modelo, nem ajustes finos. De acordo com a empresa, essa capacidade não foi projetada explicitamente: não houve mudanças arquiteturais para promover o aprendizado em contexto, nem laços de meta-aprendizado ou objetivos auxiliares para incentivar improvisação. A habilidade emergiu da escala de pré-treinamento, da mesma forma que o aprendizado em poucos exemplos emergiu em grandes modelos de linguagem como o GPT-3.
Os resultados foram obtidos em dez tarefas de manipulação variadas e de curta duração. No cenário de aprendizado em uma única tentativa, o GEN-1.5 atingiu uma média de cinquenta e nove por cento de sucesso, com desvio padrão de dez por cento, diretamente do modelo pré-treinado, sem nenhum treinamento adicional. Após dez passos de gradiente usando cerca de cinco minutos de dados por tarefa, o que equivale a aproximadamente cinquenta demonstrações, a taxa subiu para oitenta e três por cento, com desvio padrão de nove por cento. Em um caso extremo, um único passo de gradiente sobre um minuto de dados alcançou sessenta e seis vírgula cinco por cento em uma tarefa não vista durante o treinamento, sem qualquer ajuste específico de hiperparâmetros para adaptação.
Um aspecto relevante levantado pela empresa diz respeito ao custo computacional. Adaptar políticas de robôs tradicionalmente exigia dezenas de milhares de passos de gradiente. No caso do GEN-1.5, dez passos alteram os pesos do modelo em menos de zero vírgula quinze por cento em tarefas não vistas, o que sugere que o ajuste fino está reconfigurando conhecimento já presente no modelo, em vez de construir novas representações. A Generalist AI descreve o processo como treinamento no momento do teste em um regime de dados extremamente baixo.
A pesquisa também destacou três resultados de transferência. Na generalização composicional, dois comandos físicos registrados de forma independente foram encadeados em um comportamento contínuo, com o modelo gerando movimentos de ligação, como reposicionamento, troca de preensão e recuperação de erros, que não apareciam em nenhuma das demonstrações originais. Na transferência de simulação para o mundo real, uma demonstração registrada inteiramente em simulação funcionou como comando para o robô real, apesar de o pré-treinamento não ter incluído dados simulados, nem vídeo renderizado nem dinâmicas simuladas. Já na imitação de humano para robô, em alguns casos uma pessoa demonstrou a tarefa com as próprias mãos diante das câmeras do robô, e o modelo reproduziu a ação com as mãos robóticas.
Após um ajuste leve, o modelo também exibiu generalização adicional. Treinado com cinco minutos de demonstrações de varrer um bloco para dentro de uma tigela, o sistema utilizou uma banana como substituto improvisado para a escova e empregou uma pá de lixo para levantar e despejar o bloco, executando uma sequência de contato completamente diferente. O modelo também removeu uma folha de papel que cobria a tigela e operou de forma ambidestra quando as demonstrações usavam apenas uma mão.
As tarefas envolvidas são descritas pela própria empresa como simples e de curto horizonte, incluindo abrir potes, abrir zíperes, retirar dinheiro de carteiras e varrer objetos para dentro de tigelas. Apesar disso, a Generalist AI afirma que este é o primeiro modelo em que o aprendizado de habilidades físicas em uma única tentativa emergiu em escala. O GEN-1.5 ainda não está disponível como produto: não há pesos públicos, nem interface de programação, nem página de preços. O modelo roda na própria frota e motor de dados da empresa, e o acesso hoje depende de parceria direta. O anúncio deve ser encarado, portanto, como um sinal de pesquisa sobre os efeitos da escala no aprendizado de robôs, e não como um sistema pronto para implantação.
