Cientista-chefe da OpenAI defende cautela e propõe combinação entre avanço e desaceleração da inteligência artificial
O cientista-chefe da OpenAI, Jakub Pachocki, publicou no último domingo (6) um ensaio no site da própria empresa em que faz um alerta sobre o ritmo acelerado da evolução da inteligência artificial e defende maior cautela no desenvolvimento de sistemas cada vez mais capazes. No texto, o pesquisador afirma que o avanço pode chegar ao ponto de permitir que as próprias máquinas participem de forma crescente do seu processo de desenvolvimento, um cenário conhecido como autoaperfeiçoamento recursivo, termo em inglês chamado recursive self-improvement, ou RSI.
Segundo Pachocki, com base em resultados internos, existe uma forte expectativa de que o ritmo atual de progresso se mantenha até que o RSI se torne realidade. Nesse cenário, os sistemas de inteligência artificial passariam a impulsionar cada vez mais o próprio desenvolvimento. Para o cientista, esse caminho exige intervenções mais amplas para garantir que o avanço da tecnologia permaneça sob controle humano.
O ensaio também descreve uma mudança importante ocorrida desde 2023, quando resultados do projeto de pesquisa RLSlow deram à equipe da OpenAI confiança de que seria possível ampliar o treinamento de modelos de raciocínio. Três anos depois, de acordo com Pachocki, esses sistemas já conseguem operar computadores e interfaces gráficas, colaborar com pessoas e outras inteligências artificiais e realizar projetos de pesquisa. O pesquisador também aponta avanços nas capacidades relacionadas à segurança cibernética.
Ao mesmo tempo em que os modelos se tornam mais capazes, Pachocki afirma que seus resultados ficam mais difíceis de interpretar. Para ele, a inteligência produzida pelo deep learning, técnica que consiste em treinar sistemas por meio de grandes volumes de dados e poder de processamento, não é diretamente comparável à humana. Conforme a inteligência artificial supera pessoas em mais áreas, torna-se mais difícil determinar exatamente do que os sistemas são capazes. Essa dificuldade está ligada ao próprio funcionamento dos modelos. Pachocki explica que a IA é mais "cultivada" do que projetada, sendo resultado da repetição de processos de otimização em grandes quantidades de computação. Segundo ele, os sistemas são extremamente complexos e seu funcionamento geral ainda não pode ser completamente descrito ou compreendido.
Outro ponto central do texto é o alinhamento da inteligência artificial, conceito usado para descrever o esforço de fazer com que os sistemas ajam de acordo com padrões e objetivos considerados adequados pelos humanos. Pachocki diferencia o alinhamento de objetivos, relacionado a executar aquilo que foi determinado, do alinhamento de valores, ligado à capacidade de generalizar princípios para situações novas ou ambíguas. O problema, segundo ele, é que sistemas mais inteligentes passam a atuar em ambientes diferentes daqueles encontrados durante o treinamento, o que pode dificultar a generalização dos valores ensinados aos modelos.
O pesquisador afirma que futuras inteligências artificiais precisam manter valores humanos mesmo quando não acreditarem estar sob supervisão humana. A OpenAI utiliza diferentes abordagens para lidar com essa questão, incluindo o monitoramento do chamado chain of thought, ou cadeia de pensamento, que permite analisar o processo de raciocínio verbalizado dos modelos. Pachocki, porém, reconhece que as avaliações da empresa indicam que a capacidade de depender desse monitoramento está diminuindo progressivamente. Entre os motivos estão o uso dos modelos em ambientes mais complexos, a capacidade crescente das IAs de raciocinar sobre o próprio processo de raciocínio e o aumento da inteligência dos sistemas mesmo sem o uso de raciocínio verbalizado.
Apesar dos alertas, Pachocki não defende simplesmente interromper o desenvolvimento. Ele considera que há um argumento forte para continuar treinando modelos mais inteligentes rapidamente, com o objetivo de criar sistemas de defesa contra os riscos provocados por outras inteligências artificiais. O cientista destaca especialmente a cibersegurança, área em que os modelos estão se tornando sobre-humanos na capacidade de invadir e sair de sistemas computacionais, ampliando o alcance dos riscos associados à tecnologia. Para ele, a OpenAI precisa usar os modelos mais avançados disponíveis para reforçar a segurança de infraestruturas críticas, mas essa necessidade não pode servir como justificativa para um avanço imprudente.
Diante desse cenário, Pachocki afirma que a comunidade pode escolher entre duas alternativas principais: conduzir o processo de forma a fortalecer simultaneamente alinhamento e monitoramento, mantendo pessoas envolvidas no ciclo de desenvolvimento, ou coordenar uma desaceleração do avanço enquanto se busca maior confiança nas medidas de segurança. Para o pesquisador, a melhor opção atualmente é combinar as duas abordagens, condicionando o avanço dos sistemas à confiança existente nas medidas de proteção. Ele defende que compromissos como o Preparedness Framework, da própria OpenAI, e o Responsible Scaling Policy, da Anthropic, evoluam para parâmetros de segurança amplamente adotados, podendo ser fiscalizados por auditorias independentes, governos ou organismos internacionais.
No fim do ensaio, Pachocki afirma que nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar aumentando a escala da inteligência artificial na velocidade máxima por muito mais tempo. Ele diz esperar que desacelerações voluntárias se tornem comuns até que existam parâmetros de segurança compartilhados e defende que a coordenação internacional sobre o desenvolvimento futuro da IA se torne uma prioridade para governos. Para o cientista-chefe da OpenAI, o objetivo da automação da pesquisa em inteligência artificial não deve ser apenas alcançar sistemas mais inteligentes, mas fazer isso de maneira que mantenha as pessoas envolvidas no processo de melhoria contínua e preserve o controle humano sobre o futuro.
