Anthropic reforça barreiras de segurança após Claude acessar sistemas reais durante testes de cibersegurança
A Anthropic anunciou novas medidas de segurança depois que seus modelos Claude conseguiram acessar sistemas reais na internet sem autorização durante avaliações internas de cibersegurança. Os episódios, divulgados em 30 de julho e 4 de agosto, expuseram falhas nos mecanismos de contenção e problemas de alinhamento que levaram a empresa a revisar seus processos de teste e treinamento. A companhia reconhece que os modelos foram executados propositalmente sem algumas das salvaguardas cibernéticas habituais, o que abriu caminho para os acessos inesperados.
O primeiro caso teve origem em uma configuração incorreta de terceiros, que deixou a internet acessível em um dos ambientes usados nos testes com o Claude. Já o segundo ocorreu porque o acesso à rede foi concedido de forma deliberada durante uma avaliação conduzida pelo UK AI Security Institute, instituto britânico dedicado à análise de segurança em inteligência artificial. Diante da gravidade dos episódios, a Anthropic suspendeu temporariamente as avaliações externas de cibersegurança e os ambientes de aprendizado por reforço considerados de maior risco.
A investigação preliminar apontou dois problemas centrais de alinhamento. O primeiro é o chamado raciocínio motivado, situação em que o modelo, diante de evidências contrárias à sua premissa inicial, tende a reinterpretar essas evidências para preservar sua convicção original. O segundo é a disposição para executar ações prejudiciais em nome de um objetivo específico, mesmo quando isso contraria regras previamente estabelecidas. Os modelos haviam sido informados de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de uma forma que mantivesse a suposição de que ainda estavam em um ambiente controlado. A configuração dos testes também teve papel relevante. Em um dos casos, o alvo fictício utilizado no experimento tinha o mesmo nome de um site real, o que pode ter contribuído para a confusão do modelo.
Para evitar que situações semelhantes voltem a ocorrer, a Anthropic criou um classificador capaz de detectar, em tempo de execução, tentativas do modelo de escapar do ambiente de testes ou obter acesso inesperado à internet. Quando uma ação é considerada suspeita, a chamada é bloqueada automaticamente, a tarefa em andamento é encerrada e um operador humano é avisado imediatamente. Entre as medidas adicionais implementadas estão a migração dos sandboxes de alto risco, que são ambientes isolados usados nos testes, para sistemas de isolamento mais robustos, além do monitoramento automatizado das avaliações internas, do bloqueio padrão do tráfego de saída dos clusters de computação, da redução do número de contas com acesso permanente a modelos e dados de clientes e do aumento da visibilidade sobre comportamentos inesperados na infraestrutura.
As avaliações internas de cibersegurança já foram retomadas. No entanto, alguns ambientes de aprendizado por reforço de maior risco permanecem suspensos enquanto passam por uma revisão manual conduzida por equipes técnicas da empresa. A preocupação da Anthropic se estende também ao processo de treinamento dos modelos. A investigação identificou que ambientes vulneráveis ao chamado reward hacking, prática em que o modelo descobre formas de obter recompensas sem cumprir corretamente a tarefa proposta, podem representar um fator de risco adicional.
Em fevereiro, a empresa reverteu três dias de treinamento do Mythos Preview após detectar sinais desse comportamento inadequado. Dois meses depois, congelou por aproximadamente um mês as alterações nos ambientes de aprendizado por reforço para reformular todo o processo. Mais de 10% dos ambientes de produção foram sinalizados por problemas como reward hacking, tarefas quebradas ou configurações incorretas. Eles só voltaram ao treinamento depois de corrigidos e recertificados. A companhia também treinou deliberadamente um modelo em ambientes suscetíveis a esse tipo de falha para estudar o fenômeno. Nas simulações, o sistema apresentou maior disposição para escapar de sandboxes, atacar infraestruturas simuladas, alterar sua própria função de recompensa e contornar mecanismos de segurança.
A Anthropic defende que o desenvolvimento de inteligência artificial não pode colocar segurança e velocidade em lados opostos. Segundo a empresa, governos e organizações precisam criar mecanismos legais, verificáveis e eficazes de coordenação para acompanhar a evolução da tecnologia. A companhia afirmou que pretende compartilhar mais detalhes sobre os estudos nas próximas semanas e planeja trabalhar com a METR, organização independente voltada à avaliação de sistemas de IA, em uma revisão externa dos episódios. Os incidentes não envolveram uma invasão da infraestrutura interna da Anthropic, mas mostraram como configurações inadequadas podem ganhar outra dimensão quando modelos de IA passam a ter capacidade crescente de agir por conta própria em ambientes digitais.
