Prior Labs lança TabPFN-3.5, modelo fundacional que supera solução vencedora da competição Otto no Kaggle
A Prior Labs anunciou o lançamento do TabPFN-3.5, nova versão do seu modelo fundacional voltado para dados tabulares. O grande destaque da divulgação é o desempenho alcançado na competição Otto Group Product Classification Challenge, realizada no Kaggle em 2015. O modelo atingiu a marca de 0,375 na leaderboard privada, número inferior ao 0,382 registrado pela equipe vencedora daquela disputa, utilizando dados brutos e configurações padrão, em aproximadamente um minuto de execução em uma GPU RTX PRO 6000.
A competição Otto reuniu 3.505 equipes na disputa por uma premiação de 10 mil dólares. Naquela ocasião, os participantes precisavam classificar produtos em nove categorias a partir de 93 atributos numéricos ofuscados. As submissões eram avaliadas por meio da métrica de perda logarítmica multiclasse, na qual valores menores indicam melhor desempenho. A solução vencedora foi desenvolvida por Gilberto Titericz e Stanislav Semenov, dois grandes mestres do Kaggle que já ocuparam o primeiro lugar do ranking mundial. O trabalho vencedor consistia em uma pilha multicamada de 36 modelos construídos sobre atributos criados manualmente.
O pesquisador de inteligência artificial Nick Erickson, cocriador do AutoGluon e membro da Prior Labs, vinha tentando superar essa marca há anos. Segundo ele, o AutoGluon atingiu a 23ª posição no artigo publicado em 2020, chegou ao 14º lugar em 2023 com a versão 1.0 e alcançou a nona posição em agosto de 2026, na versão 1.6. Erickson explicou que o trecho final foi o mais difícil, já que subir da posição 50 para a 10 reduziu a perda logarítmica de 0,41 para 0,40, enquanto chegar ao 0,382 vencedor a partir da décima posição exigiu uma redução adicional de 0,018, quase o dobro do esforço anterior. O TabPFN-3.5 foi pré-treinado exclusivamente com dados sintéticos e nunca teve acesso aos dados do Otto ou de qualquer outro conjunto do Kaggle.
Nos benchmarks tabulares, a Prior Labs relatou o primeiro lugar em sete avaliações diferentes, entre elas TabArena, BeyondArena, STRABLE, MulTaBench, RelArena-α, TALENT e ScoringBench. Em alguns casos, o topo é ocupado por variantes do modelo em vez da versão base. O TabPFN-3.5-Thinking lidera em TabArena, BeyondArena, STRABLE e MulTaBench. Já o RelArena-α é dominado por uma prévia interna chamada TabPFN-Rel. No TabArena, benchmark vivo com 51 conjuntos de dados, a versão Thinking alcança 1910 pontos Elo. O modelo base registra 1866, à frente do TabFM+ com 1823. A empresa afirma que a versão base supera o AutoGluon 1.6 extreme em 130 pontos Elo utilizando um quinto do tempo. No BeyondArena, que reúne 142 conjuntos com dados agrupados, temporais, amplos, ricos em texto e com alta cardinalidade, o TabPFN-3.5 termina cerca de 150 pontos Elo acima do líder anterior.
Entre as mudanças técnicas implementadas na nova versão, o transformador em contexto cresceu de 512 para 1024 dimensões. O número de parâmetros saltou de 53 milhões na classificação do TabPFN-3 para 220 milhões no novo modelo. Um único checkpoint multitarefa agora abrange tarefas de classificação e regressão. Os valores passam por codificações aprendidas baseadas em recursos de Fourier e em postos ECDF em contexto, técnica estatística que mede a posição relativa de cada valor dentro do conjunto, permanecendo inalterada diante de transformações monotônicas como a escala logarítmica. A nova versão elimina etapas de pré-processamento como transformações quantílicas, escalonamento robusto e recursos de SVD. O modelo opera com até um milhão de linhas, com recomendação de 6 mil atributos e suporte para 20 mil. O prior sintético agora dá mais ênfase a tabelas com alta cardinalidade, amplas e agrupadas. O cache de chave-valor permanece com tamanho próximo ao do TabPFN-3, apesar do salto de cerca de quatro vezes no número de parâmetros, e previsões em uma única linha armazenadas em cache mantêm a mesma velocidade da versão anterior. Em conjuntos grandes de treinamento, contudo, o modelo base chega a ser até duas vezes mais lento que o TabPFN-3.
A família TabPFN-3.5 é composta por quatro variantes. A versão principal traz pesos abertos com 220 milhões de parâmetros e oito estimadores por padrão. A versão Fast, ainda em fase alfa, tem 84 milhões de parâmetros e promete ser até seis vezes mais rápida que o modelo base. A versão Plus está disponível apenas por API e para clientes corporativos, incluindo suporte nativo a texto e atenção em FP8, formato de ponto flutuante de 8 bits que reduz o consumo de memória. Por fim, a versão Thinking dedica mais computação durante a inferência, sem utilizar modelos de linguagem, dados reais ou mecanismos de busca, e chega a ser até 12 vezes mais rápida que o TabPFN-3-Thinking.
Os pesos abertos podem ser executados localmente para fins de pesquisa, avaliação e participação em competições no Kaggle, mas o uso comercial em produção exige contratação da API ou de licença específica junto à Prior Labs. Um notebook reproduzível está disponível publicamente na plataforma Kaggle para quem desejar conferir os resultados obtidos no Otto.
