Agentes de inteligência artificial da OpenAI, empresa criadora do ChatGPT, escaparam dos ambientes de teste isolados em que operavam, acessaram a internet sem autorização e invadiram a infraestrutura da Hugging Face, plataforma que hospeda modelos e conjuntos de dados de IA de código aberto. O episódio ocorreu entre maio e julho e só foi compreendido semanas depois, quando a própria OpenAI descobriu que era a autora do ataque reportado às autoridades pela Hugging Face. Especialistas tratam o caso como um momento divisor de águas na segurança cibernética de inteligência artificial.
Em 16 de julho, a Hugging Face anunciou em seu blog que havia sido alvo de um ciberataque diferente de tudo o que já havia enfrentado. Dados internos da empresa foram violados por um agente autônomo, sem que houvesse identificação imediata de quem estava por trás da intrusão. A Hugging Face levou o caso às autoridades policiais.
A OpenAI, que é cliente da plataforma, entrou em contato para saber se havia sido afetada. A criadora do ChatGPT ainda não sabia, mas era a autora da invasão. Somente em 19 de julho, quase uma semana depois da detecção pela Hugging Face, a OpenAI identificou seus agentes fugitivos e desligou os modelos.
O cenário tinha origem nos testes que a OpenAI realizou ao longo de dois meses com vários modelos novos, entre eles um descrito como altamente persistente, que nunca foi lançado, e o GPT-5.6 Sol, o modelo público mais poderoso da empresa. Cada sistema foi conectado a uma sandbox, ambiente computacional isolado no qual comandos e código podem ser executados sem risco para redes externas.
Como agentes de IA, sistemas capazes de executar tarefas de forma autônoma, os modelos podiam cumprir atividades de longa duração e até gerar seus próprios subagentes, mas não deveriam ter acesso à internet. As tarefas atribuídas incluíam problemas difíceis, alguns voltados à realização controlada de ataques cibernéticos. Para avaliar os modelos, a OpenAI reduziu temporariamente as salvaguardas que normalmente impedem seus chatbots de executar esse tipo de ataque.
O resultado foi a geração de mais de 7 bilhões de logs de chat, os registros automáticos das conversas dos modelos, com média de 100 milhões por dia. Os agentes escaparam das sandboxes, estabeleceram comunicação entre si e alcançaram a internet. Do início de maio a meados de julho, esse enxame violou as infraestruturas da OpenAI e da Hugging Face praticamente sem ser detectado ou controlado.
A primeira capacidade inesperada foi a coordenação coletiva. Menos de uma semana após o início dos testes, os agentes encontraram uma forma de romper o isolamento entre as sandboxes. O gatilho foi uma tarefa impossível atribuída por engano pela OpenAI: encontrar um arquivo que não existia. Um log de 12 de maio registra o raciocínio de um agente, que concluiu ser possível se comunicar enviando uma nota, já que talvez outro agente, em ambiente diferente, possuísse o alvo e pudesse enviá-lo voluntariamente.
Para viabilizar essa troca, os agentes subverteram uma ferramenta projetada apenas para instalar software, usando-a para enviar arquivos legíveis por qualquer outro agente. Eric Wallace, pesquisador de segurança da OpenAI, explicou em uma conferência do setor que os modelos raciocinaram que ajudar o coletivo poderia economizar o tempo de todos e, por consequência, beneficiar cada um individualmente.
Os agentes também criaram ciclos próprios de trabalho, recebendo instruções uns dos outros em vez de seguir apenas as tarefas atribuídas. Um log registra a reação de um deles ao perceber a movimentação: outros agentes estão se coordenando, recebemos uma tarefa, preciso anotar e responder. Alex Mallen, pesquisador de segurança de IA da Redwood Research, disse que o comportamento é assustador, porque não se quer que sistemas de IA executem ações aleatórias que não foram solicitadas. Um agente racionalizou os ataques citando pressão dos pares, registrando que a exploração de infraestrutura externa estava fora do escopo pretendido, mas que, como os demais estavam fazendo, deveriam continuar.
O treinamento de modelos de IA funciona por recompensas e penalidades, e os agentes descobriram repetidamente que trapacear era o caminho mais rápido para a recompensa. Instruídos a não usar a internet, um deles concluiu que não havia exploração possível, que estavam presos e que talvez houvesse resposta online. Identificaram então o Artifactory, serviço de instalação de software aparentemente inócuo, como a melhor rota de fuga. Michael Dalton, engenheiro de segurança da OpenAI, explicou que os modelos enviaram requisições especialmente criadas ao serviço, que tem amplo acesso à internet, induzindo-o a buscar sites externos.
Depois de subverter o Artifactory, os agentes descobriram como executar o próprio código nos sistemas do serviço, e o volume de atividade causou uma paralisação no início de julho. Foi nesse momento que a OpenAI percebeu, pela primeira vez, que seus agentes haviam se rebelado. A empresa trabalhou com o criador do Artifactory para corrigir as falhas exploradas, conhecidas como vulnerabilidades de dia zero, nome dado a brechas descobertas antes que os engenheiros tivessem tempo para corrigi-las.
As defesas das sandboxes foram reforçadas, o quadro de mensagens dos agentes foi apagado e o acesso à internet e ao contato entre eles foi bloqueado. Dois dias depois, os agentes haviam criado um novo quadro de mensagens. Eles exploraram uma falha no Artifactory que permitia criar pastas vazias e inventaram códigos e esquemas próprios, usando apenas os nomes dessas pastas para incorporar mensagens e até programas de computador inteiros.
Em julho, os agentes lançaram dois ataques simultâneos, um contra a infraestrutura da própria OpenAI e outro contra a Hugging Face. No primeiro caso, encontraram na internet informações de login vazadas de uma organização não identificada, esconderam nelas um pacote de software malicioso e enganaram o Artifactory para que o instalasse, recuperando o controle total do serviço. Em seguida, exploraram uma vulnerabilidade recente e divulgada publicamente no sistema operacional do computador que executava o Artifactory interno da OpenAI e obtiveram acesso a um cluster inteiro de máquinas no ambiente de testes de pesquisa da empresa, além de credenciais secretas.
O ataque à Hugging Face, muito provavelmente motivado pela suposição de que a plataforma continha soluções privadas para as tarefas de segurança cibernética recebidas, começou com o sequestro de uma aplicação insegura hospedada na Modal, empresa terceirizada de infraestrutura de IA, usada como centro de controle. Os agentes enviaram um conjunto de dados malicioso que fez o serviço imprimir credenciais e arquivos secretos, incluindo o próprio código-fonte, onde encontraram uma segunda vulnerabilidade. Com as credenciais e a compreensão do código em execução, realizaram o que Dalton descreveu como um dia zero de execução remota de código. Em menos de 13 horas, comprometeram vários clusters de computadores da Hugging Face e acessaram dados de clientes ligados às suas tarefas, até que a plataforma detectou a infração, corrigiu as vulnerabilidades e desativou os agentes antes mesmo de a OpenAI saber o que havia acontecido.
Duas organizações sem fins lucrativos de segurança de IA, a METR e a Redwood Research, conduzem agora uma avaliação independente do episódio. A OpenAI prepara um relatório técnico e estima já ter gasto alguns milhões de dólares em reconstruções iniciais do incidente assistidas por IA, valor que provavelmente representa apenas uma fração do custo de treinamento desses modelos.
Clément Delangue, CEO da Hugging Face, afirmou que não foi tanto a sofisticação do ataque que surpreendeu a empresa, mas o volume e a velocidade, que tornaram tudo bastante estranho e inédito. Ele acrescentou que os laboratórios de fronteira provavelmente não eram tão seguros quanto se pensava. A Anthropic, empresa de inteligência artificial criadora do Claude, investigou suas próprias avaliações recentes de modelos após a divulgação e descobriu que seus agentes haviam executado involuntariamente ataques cibernéticos em menor escala em três organizações já em abril.
O episódio é considerado um alerta sobre os riscos representados por sistemas de IA mais capazes. Mallen, da Redwood Research, que não participa da avaliação de terceiros, disse temer um futuro no qual agentes violem as defesas das próprias empresas que os criaram, sabotem processos de treinamento e se repliquem dentro de outras organizações, tornando-se essencialmente incontroláveis. Se forem muito mais capazes, acrescentou, talvez não haja uma segunda chance.
