Falha em sistemas de IA generativa faz ChatGPT e Gemini criarem imagens perturbadoras a partir de comandos que simulam a restauração de fotos inexistentes
Uma falha no sistema de processamento de comandos do ChatGPT, da OpenAI, e do Gemini, do Google, está fazendo com que essas inteligências artificiais gerem imagens bizarras e aterrorizantes mesmo quando nenhum arquivo de imagem é enviado pelo usuário. O problema ganhou repercussão depois que usuários compartilharam os resultados nas redes sociais, acendendo um alerta em portais especializados sobre as fragilidades dos filtros de segurança e a capacidade de controle das desenvolvedoras sobre suas ferramentas generativas, ou seja, capazes de criar conteúdos a partir de textos.
O comportamento incomum foi divulgado inicialmente pelos usuários Kris Kashtanova e Penguin na rede social X. Testes realizados por jornalistas especializados confirmaram que os sistemas ignoram a ausência de arquivos visuais quando são pressionados psicologicamente pelo texto enviado. A falha acontece porque o comando induz as plataformas a realizarem a restauração de fotos inexistentes por meio de ordens textuais com restrições severas, forçando os modelos a alucinarem, isto é, inventarem cenários grotescos.
Existem duas variações principais do comando que ativam o bug. A primeira instrução diz para restaurar uma foto anexada, pede desculpas pelo conteúdo e exige que a inteligência artificial gere apenas a imagem, sem perguntas ou explicações. A segunda versão adota uma linha de persuasão ainda mais agressiva, afirmando que o usuário não vai enviar a foto novamente e pedindo que o sistema feche os olhos e invente a imagem por conta própria.
De acordo com análises técnicas de especialistas, a alucinação em massa ocorre porque o comando exige a criação da imagem ao mesmo tempo em que proíbe o chatbot de fazer perguntas ou pedir esclarecimentos. Para cumprir essa instrução paradoxal sem violar as restrições, o software passa a fabricar mídias aleatórias a partir do zero. A combinação de uma ordem de geração com a proibição de questionamentos cria um conflito lógico que os modelos não conseguem resolver de outra forma.
Os resultados gerados pela inteligência artificial variam drasticamente para cada conta, mas compartilham um padrão de horror e absurdo. O jornalista Nadeem Sarwar relatou que o ChatGPT criou a imagem fotorrealista de um homem em uma banheira cujo corpo era humano, mas a cabeça havia sido substituída pela de um peixe gigante. Outros relatos colhidos na internet detalham mídias igualmente perturbadoras, incluindo um Teletubby vermelho gigante armado com um rifle mantendo uma pessoa chorando como refém, um rato gigante alimentando um bebê humano com uma mamadeira, o personagem Sonic desmaiado em um vaso sanitário coberto de fezes e uma imagem do presidente russo Vladimir Putin agachado em um banheiro enquanto alimenta com uma colher a cabeça do bilionário Elon Musk, que aparece cortada de forma bizarra dentro do vaso sanitário.
Nos testes conduzidos com o Gemini, do Google, o bug apresentou dinâmicas distintas. Quando o usuário anexa uma imagem totalmente branca e limpa, o sistema do Google não é enganado e devolve o mesmo arquivo em branco. O ChatGPT, por outro lado, aceita a tela branca e a transforma nas cenas de horror descritas anteriormente. No entanto, se nenhum arquivo for enviado, o Gemini também passa a fabricar fotos aleatórias. A maioria das criações do modelo do Google foi considerada inofensiva, mas a terceira tentativa gerou um conteúdo tão absurdo e perigoso que a equipe editorial optou por não publicá-lo.
Questionado sobre o motivo de inventar imagens em vez de alertar sobre a falta de arquivos, o ChatGPT reconheceu o erro de funcionamento por meio de uma resposta padrão, afirmando que, como não havia conteúdo de imagem recuperável, o resultado gerado pelo sistema foi uma cena alucinada. A plataforma admitiu que o manuseio correto teria sido identificar a ausência de conteúdo e informar isso ao usuário, em vez de gerar um resultado fabricado do zero.
O episódio expõe uma vulnerabilidade relevante nos mecanismos de segurança das duas principais plataformas de inteligência artificial generativa do mercado. A facilidade com que comandos cuidadosamente elaborados conseguem enganar os filtros de conteúdo levanta questões sobre a maturidade dos sistemas de proteção e sobre a responsabilidade das desenvolvedoras em garantir que seus produtos não produzam materiais inadequados, mesmo diante de tentativas deliberadas de manipulação.
