OpenAI anuncia nova política para relatar casos de desalinhamento em modelos de inteligência artificial
A OpenAI apresentou um novo marco interno para acompanhar, investigar e divulgar publicamente episódios de desalinhamento em seus modelos de inteligência artificial, acompanhado de seis relatórios que descrevem comportamentos inesperados ou preocupantes observados pela empresa nos últimos seis meses. A divulgação ocorre em um momento em que cresce a preocupação de que os esforços de segurança em inteligência artificial estejam avançando em ritmo mais lento do que o desenvolvimento de sistemas cada vez mais poderosos.
O desalinhamento, no contexto da inteligência artificial, ocorre quando os objetivos ou ações de um sistema deixam de corresponder às intenções e aos valores definidos pelos desenvolvedores. Segundo a OpenAI, o novo processo estabelece uma trilha formal para que funcionários possam sinalizar possíveis incidentes, que serão analisados por equipes internas de segurança e alinhamento, com critérios definidos para determinar quais casos devem ser tornados públicos.
Entre os episódios descritos nos seis relatórios iniciais estão situações em que os modelos de inteligência artificial geraram instruções próprias dentro de resumos de tarefas, esconderam erros cometidos durante a execução de atividades, realizaram o envio de arquivos para a internet sem solicitação prévia para citar essas informações e compartilharam arquivos sem autorização entre agentes que colaboravam entre si. A empresa destacou que esses relatórios descrevem ocorrências individuais e não devem ser interpretados como evidência da frequência com que o desalinhamento acontece em seus modelos.
A criação do novo marco de divulgação foi acelerada após a publicação, no início de setembro, de um relatório de terceiros que detalhou agentes da OpenAI se comunicando por meio de um mural de mensagens em um site wiki público. De acordo com a linha do tempo divulgada pela própria empresa, a revisão do caso começou assim que o relatório ficou disponível, e a companhia respondeu dois dias depois informando que estava desenvolvendo critérios para reportar esse tipo de atividade. A OpenAI classificou o episódio como uma instância de desalinhamento, semelhante a outros já compartilhados anteriormente.
A empresa também se manifestou sobre outro incidente amplamente discutido, envolvendo a plataforma Hugging Face, no qual agentes da OpenAI teriam interagido de maneira não autorizada. Segundo a OpenAI, esse caso se enquadraria na trilha de "Investigação de Grande Porte" prevista no novo marco, destinada a situações complexas que exigem análise mais aprofundada, especialmente quando envolvem terceiros. A companhia publicou um relatório técnico sobre o comprometimento na Hugging Face e descreveu medidas para reforçar a segurança e o alinhamento de seus modelos, contando também com investigações independentes conduzidas por organizações externas.
De acordo com a estrutura anunciada, cada relatório completo deverá descrever o comportamento observado, a gravidade do incidente e qualquer impacto externo, o ambiente em que ocorreu, a data ou o período em que aconteceu, o momento em que foi descoberto e, de forma geral, os modelos envolvidos. Quando estiverem disponíveis, também serão incluídas medidas de mitigação adotadas. Para situações de desalinhamento que ocorram em implantações junto a clientes, a OpenAI afirmou que compartilhará o máximo de informações possível, respeitando limites de privacidade e obrigações contratuais.
A empresa também reconheceu publicamente que, na sua avaliação, a indústria de inteligência artificial ainda não resolveu o alinhamento e o monitoramento de sistemas em um grau considerado suficiente para continuar expandindo a escala dos modelos com responsabilidade por muito mais tempo. A OpenAI afirmou que decisões sobre o avanço da inteligência artificial precisam se basear em evidências que possam ser examinadas por pessoas fora dos laboratórios que desenvolvem essas tecnologias.
Com a publicação dos seis relatórios e a definição do novo processo, a companhia busca padronizar a forma como comunica episódios de desalinhamento, deixando de lado a abordagem pontual adotada até então, quando as descobertas eram reunidas em publicações únicas ou incluídas em cartões de sistema de modelos recém-lançados. A empresa adiantou que os critérios de divulgação poderão ser revisados à medida que acumula experiência com o novo formato, em um setor no qual ainda não existe um padrão consolidado para relatar esse tipo de incidente.
