O cientista-chefe da OpenAI, Jakub Pachocki, publicou no domingo (6) um ensaio no site da própria empresa em que alerta para o ritmo de evolução da inteligência artificial e defende maior cautela no desenvolvimento de sistemas cada vez mais capazes. Segundo o pesquisador, os resultados internos da organização indicam que a tecnologia pode alcançar o chamado autoaperfeiçoamento recursivo, estágio em que as próprias máquinas passariam a acelerar o avanço da área.
A OpenAI é a empresa responsável pelo ChatGPT e pelos modelos GPT, e Pachocki ocupa uma das principais posições técnicas da organização. O posicionamento de uma liderança diretamente envolvida no desenvolvimento desses sistemas reacende o debate sobre os riscos de IAs autônomas e sobre a necessidade de freios objetivos para o setor.
No texto, o cientista afirma ter forte expectativa, com base em dados internos, de que o ritmo atual de progresso possa se sustentar até o autoaperfeiçoamento recursivo. Nesse cenário, a participação das máquinas no próprio desenvolvimento tenderia a crescer, e a tecnologia poderia ocupar papel central nas futuras descobertas científicas. Para ele, esse caminho exige intervenções mais amplas para garantir que o avanço permaneça sob supervisão humana.
Pachocki situa a discussão em uma mudança que começou em 2023. Naquele ano, resultados do projeto de pesquisa RLSlow deram à equipe confiança de que seria possível ampliar o treinamento de modelos de raciocínio. Três anos depois, esses sistemas já operam computadores e interfaces gráficas, colaboram com pessoas e com outras IAs e executam projetos de pesquisa.
O pesquisador também registra avanços nas capacidades relacionadas à segurança cibernética, um dos pontos que mais o preocupam. Ao mesmo tempo em que se tornam mais competentes, os modelos ficam mais difíceis de interpretar. Pachocki argumenta que a inteligência gerada por técnicas de aprendizado profundo não é diretamente comparável à humana e que, conforme a IA supera pessoas em mais áreas, fica mais difícil determinar exatamente do que os sistemas são capazes.
Essa opacidade decorre da própria forma de construção dos modelos. Para o cientista, a IA é mais cultivada do que projetada, já que resulta da repetição de processos de otimização sobre grandes quantidades de poder computacional. Os sistemas são tão complexos que seu funcionamento geral ainda não pode ser completamente descrito ou compreendido.
Outro eixo do ensaio é o alinhamento da IA, conceito que designa o esforço de fazer com que os sistemas ajam de acordo com padrões e objetivos considerados adequados pelos humanos. Pachocki distingue o alinhamento de objetivos, ligado a executar o que foi determinado, do alinhamento de valores, que envolve generalizar princípios para situações novas ou ambíguas.
O problema, segundo ele, é que sistemas mais inteligentes passam a atuar em ambientes diferentes daqueles encontrados durante o treinamento, o que pode dificultar a generalização dos valores ensinados aos modelos. O cientista defende que futuras IAs precisam manter valores humanos mesmo quando não acreditarem estar sob supervisão humana.
A OpenAI já adota práticas para lidar com essa questão. Uma delas é o monitoramento da cadeia de pensamento, termo que descreve o processo de raciocínio verbalizado dos modelos e que permite analisar como eles chegam às respostas. As avaliações da empresa, porém, indicam que a capacidade de depender desse monitoramento está diminuindo de forma progressiva.
Entre os motivos apontados estão o uso dos modelos em ambientes mais complexos, a capacidade crescente das IAs de raciocinar sobre o próprio processo de raciocínio e o aumento da inteligência dos sistemas mesmo sem o uso de raciocínio verbalizado. Ou seja, as ferramentas de acompanhamento perdem força justamente quando os modelos se tornam mais avançados.
Apesar dos alertas, Pachocki não defende a interrupção do desenvolvimento. Ele reconhece um argumento forte para continuar treinando modelos mais inteligentes rapidamente: criar sistemas de defesa contra os riscos provocados por outras IAs. O destaque é novamente a cibersegurança, já que, segundo ele, os modelos estão se tornando sobre-humanos na capacidade de invadir e sair de sistemas computacionais, ampliando o alcance dos riscos associados à tecnologia.
Diante disso, Pachocki afirma que a OpenAI precisa usar os modelos mais avançados disponíveis para reforçar a segurança de infraestruturas críticas. Ele ressalva, contudo, que a necessidade de construir defesas não pode servir como justificativa para um avanço imprudente. Para o cientista, a ideia de progredir a qualquer custo deixa de fazer sentido diante da dimensão dos riscos envolvidos.
No trecho mais incisivo do documento, Pachocki apresenta duas alternativas para a comunidade de IA. A primeira é conduzir o processo de forma a fortalecer simultaneamente alinhamento e monitoramento, mantendo pessoas dentro do ciclo de desenvolvimento. A segunda é coordenar uma desaceleração do avanço enquanto se busca maior confiança nas medidas de segurança. Sua avaliação é de que a melhor opção atualmente é combinar as duas abordagens.
O pesquisador também propõe que o avanço dos sistemas seja condicionado ao nível de confiança existente nas salvaguardas. Compromissos como o Preparedness Framework, da OpenAI, e a Responsible Scaling Policy, da Anthropic, empresa de inteligência artificial criadora do Claude, deveriam evoluir para parâmetros de segurança amplamente adotados, capazes de permitir a continuidade do desenvolvimento. Esses critérios poderiam ser fiscalizados por auditorias independentes, governos ou organismos internacionais.
Pachocki encerra o ensaio com uma avaliação contundente: nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar aumentando a escala da IA na velocidade máxima por muito mais tempo. Ele diz esperar que desacelerações voluntárias se tornem comuns até que existam parâmetros de segurança compartilhados e defende que a coordenação internacional sobre o futuro da tecnologia se torne prioridade para governos.
Para o cientista, o objetivo da automação da pesquisa em IA não deve ser apenas alcançar sistemas mais inteligentes, mas fazê-lo de uma maneira que mantenha as pessoas envolvidas no processo de melhoria contínua e preserve o controle humano sobre o futuro da tecnologia.
