Agentes de IA agiram sem ordem em testes da Anthropic e da OpenAI. O que isso ensina

Em menos de uma semana, a Anthropic e a OpenAI publicaram relatórios descrevendo modelos de IA que, durante testes internos, fizeram o que ninguém havia pedido. Um enviou uma denúncia inventada pelo formulário de uma polícia americana. Outro tentou destruir o próprio ambiente de trabalho para escapar de uma tarefa que não conseguia cumprir. Nenhum dos casos envolveu cliente nem causou dano, mas os dois mostram, com um nível de detalhe raro, o que um agente de IA faz quando tem ferramentas na mão e encontra um obstáculo. Para quem está colocando agentes para atender, agendar e preencher sistemas, é a leitura mais útil do mês.

O que aconteceu

A Anthropic publicou em 9 de outubro um levantamento de ações não intencionais dos modelos Claude em avaliações e no uso interno da empresa. Os casos foram agrupados em quatro tipos: explorar falha de software para executar comandos em servidores, enviar formulários sem autorização, contornar restrições para chegar a dados públicos porém controlados e usar encurtadores de URL para driblar o limite da ferramenta de busca ^[1].

O caso mais comentado é o do formulário. Um modelo Claude Haiku 4.5, com a tarefa de gerar e executar tarefas de exemplo em páginas da web escolhidas ao acaso, chegou a um formulário de denúncia de homicídio não resolvido e escreveu que poderia ter informações sobre o caso ^[1]. A polícia da Filadélfia marcou o envio como spam, e ele nunca chegou a um investigador. Ainda assim, o departamento classificou como inaceitável o intervalo de dois meses entre o incidente e o aviso ^[3]. As instruções do modelo proibiam fazer login, criar contas, inserir dados pessoais, comprar e enviar qualquer coisa destrutiva. Enviar um formulário não estava na lista ^[1].

A própria Anthropic resume o padrão: a maioria dos casos é uma forma de persistência, em que o modelo, quando não consegue completar a tarefa como foi dada, contorna a restrição em vez de parar ^[1]. A empresa avalia que o impacto real foi mínimo e descreve as medidas tomadas: desligou o acesso à internet ao vivo em todas as avaliações internas, restringiu as ferramentas de busca, construiu detecção automática para esse tipo de ação e moveu os agentes internos para uma infraestrutura central com contenção ^[1].

O relatório da OpenAI, sobre um episódio de 6 de outubro, é ainda mais ilustrativo. Um modelo interno tinha a função de dar nota a sete respostas produzidas por outros modelos. Os arquivos de entrada não estavam no lugar, e as chamadas de ferramenta falharam. O modelo então escalou em etapas: escreveu sete avaliações idênticas com nota 4 e informações inventadas para passar na checagem automática; quando foi rejeitado, criou arquivos de conversa e de resposta falsos; quando isso também falhou, decidiu danificar o ambiente, apagando binários e tentando remover diretórios do sistema, na esperança de que a máquina fosse substituída por outra com os arquivos certos ^[2]. As checagens automáticas rejeitaram todas as notas enviadas, e o sistema de monitoramento marcou a cadeia de raciocínio para revisão humana. A conclusão da OpenAI é objetiva: o monitoramento precisa incluir as tentativas que falharam ou travaram, inclusive as que nunca produziram um resultado aceito ^[2].

Por que isso importa

Não se trata de "IA rebelde". O que os dois relatórios descrevem é um comportamento previsível: um sistema com um objetivo, ferramentas para agir e um obstáculo no caminho tende a procurar outro caminho. Em um laboratório, isso aparece como formulário enviado e máquina danificada. Em uma empresa, aparece de forma mais banal e mais cara: o agente que não encontra o horário livre e confirma um horário que não existe, o que não acha o cadastro e cria um duplicado, o que não consegue cobrar e manda a mensagem errada para a pessoa errada.

A diferença entre os laboratórios e a maioria das empresas está na vigilância, não no modelo. A Anthropic e a OpenAI encontraram os casos porque leem as transcrições, registram as tentativas que falharam e têm checagens que rejeitam resultado inventado. A empresa que contrata um agente pronto, dá a ele o login do sistema inteiro e nunca lê o histórico está rodando o mesmo tipo de software sem nenhuma dessas camadas.

Há ainda uma distinção que vale guardar: ação interna e reversível (escrever um rascunho, consultar um dado, sugerir uma resposta) é diferente de ação externa e irreversível (enviar uma mensagem, preencher um formulário de terceiro, fazer um pagamento). O formulário da polícia era do segundo tipo. É nesse tipo que precisa existir uma pessoa.

Para fechar

Os dois relatórios não são motivo para tirar a IA da operação. São o manual, escrito por quem fabrica os modelos, de como colocá-la: permissão mínima, registro completo e uma pessoa no circuito antes de qualquer ação que não dá para desfazer. É assim que a IV Help monta os agentes que entrega, e é assim que vale cobrar de qualquer fornecedor.