O presidente do conselho e CEO da Microsoft, Satya Nadella, defendeu neste sábado (10), em uma publicação na rede social X, que sistemas avançados de inteligência artificial sejam construídos com mecanismos de contenção e um botão de emergência controlado por pessoas. Segundo a proposta, pessoas autorizadas devem ter a capacidade de interromper ou desligar um modelo no meio da execução de uma tarefa, como parte de uma estrutura de segurança voltada a tecnologias capazes de acessar dados sensíveis e realizar operações importantes.
Na avaliação do executivo, as empresas não deveriam depender exclusivamente das garantias oferecidas pelos próprios desenvolvedores de IA. Em vez disso, seria necessário estabelecer limites de acesso às informações, acompanhar de perto as ações executadas pelos modelos e manter controles externos que permitam intervenção sempre que necessário. A recomendação foi apresentada em um momento de alertas crescentes entre executivos e pesquisadores sobre os riscos associados à velocidade do avanço da tecnologia e à insuficiência dos mecanismos de segurança atuais.
Um dos argumentos centrais de Nadella envolve a dificuldade de compreender como os modelos chegam a determinados resultados. Diferentemente dos softwares tradicionais, os sistemas atuais nem sempre permitem relacionar uma resposta ou um comportamento específico a entradas precisas dos dados de treinamento ou a configurações dos parâmetros internos. Essa opacidade, segundo ele, exige uma abordagem mais rígida de supervisão por parte de quem utiliza a tecnologia.
O CEO defende que os sistemas de IA sejam tratados como possíveis riscos internos às organizações. A recomendação não parte do pressuposto de que os modelos sejam maliciosos, mas sim de que podem cometer erros ou ser comprometidos quando têm acesso a recursos relevantes. Para lidar com esse cenário, a abordagem proposta prevê a separação entre o modelo e a estrutura responsável por organizar sua execução, além da definição externa, feita pela própria organização, de quais ações o sistema pode realizar.
Nadella também foi enfático ao afirmar que os controles de segurança não podem ficar sob a responsabilidade do próprio modelo. Na sua visão, as organizações precisam ter autonomia para determinar quais informações podem ser acessadas e quais operações podem ser executadas, sem permitir que a inteligência artificial altere ou contorne as regras estabelecidas. A ideia é que a autoridade sobre o sistema permaneça sempre fora dele.
Para orientar o desenvolvimento e a operação dessas tecnologias, o executivo apresentou uma série de sete princípios. Entre eles estão a utilização de modelos diferentes para tarefas importantes, o registro verificável das ações realizadas e a realização contínua de testes que contemplem falhas, ataques e situações extremas. O conjunto busca transformar a segurança em uma exigência estrutural, e não apenas uma promessa dos fabricantes.
Outro ponto destacado foi a auditabilidade independente. Para Nadella, a validação de um sistema não deve depender exclusivamente da mesma inteligência artificial que está sendo avaliada, o que exigiria a participação de verificadores externos. A proposta prevê ainda que cada ação relevante deixe registros legíveis por humanos e protegidos contra alterações, permitindo que se reconstrua, depois, como determinado resultado foi alcançado.
O princípio da contenção estabelece que as empresas devem partir do pressuposto de que um modelo pode estar comprometido. Por isso, uma pessoa autorizada precisa conseguir pausar ou desligar o sistema durante uma tarefa. Nadella acrescenta que modelos mais avançados exigirão tecnologias de contenção mais sofisticadas e que essas soluções deverão ser padronizadas entre os players do setor.
A lista inclui ainda a divulgação rápida de incidentes às partes afetadas. Quando um sistema falhar ou for comprometido, as organizações deverão informar o ocorrido, explicar quais mecanismos de controle não funcionaram e compartilhar os aprendizados que ajudem a prevenir novos problemas.
As declarações do executivo da Microsoft ocorrem em meio a um debate mais amplo sobre o ritmo de desenvolvimento da inteligência artificial. Bill Gates, cofundador da Microsoft, Dario Amodei, CEO da Anthropic, Sam Altman, CEO da OpenAI, e Elon Musk, CEO da SpaceX, já se manifestaram publicamente sobre os riscos da tecnologia. Em setembro, Amodei defendeu uma desaceleração no desenvolvimento de sistemas avançados, proposta que, segundo informações reunidas pela CNBC, recebeu apoio de Altman e de Musk. Pesquisadores também expressaram preocupação com a capacidade das empresas de manter o controle sobre seus próprios modelos.
A posição dos executivos contrasta com a do presidente dos Estados Unidos, Donald Trump, que tem rejeitado alertas sobre possíveis riscos de extinção associados à IA e enfatizado a necessidade de manter o país à frente da China no setor. Em outubro, o governo americano apresentou a iniciativa AI Force, liderada pelo diretor de Inteligência Nacional, Jay Clayton, com o objetivo de facilitar as atividades do setor e identificar agentes mal-intencionados.
Para Nadella, a segurança não deve se apoiar na confiança depositada em um modelo específico. O executivo defende uma arquitetura na qual os sistemas possam ser observados, testados e limitados por mecanismos independentes, garantindo que as organizações mantenham, em qualquer circunstância, o controle sobre as ações executadas em seu nome.
