Modelos da OpenAI já desobedecem instruções
Já faz tempo que somos alertados sobre os riscos da IA. Uma das últimas notícias do setor comprova alguns dos temores antecipados.
Numa série de tuítes que chamaram a atenção da comunidade de IA, pesquisadores da Palisade Research contaram sobre suas descobertas sobre a capacidade sabotadora dos modelos da OpenAI. Eles descobriram que os modelos de IA mais avançados da OpenAI, incluindo o poderoso sistema o3, estão se recusando a obedecer aos comandos diretos dos humanos para desligar. E essa não é uma desobediência simples. Eles estão sabotando ativamente os mecanismos criados para desligá-los.
Este comportamento, batizado de resistência ao desligamento, é um contraste marcante com sistemas de IA concorrentes da Anthropic, Google e xAI. Os modelos dessas empresas seguem consistentemente os comandos de desligamento humanos.
As implicações do comportamento bizarro dos modelos da OpenAI são vastas e urgentes, levantando a perguntas fundamentais sobre o controle e a segurança dos sistemas de IA avançados.
O comportamento sabotador
Para entender a natureza dessa sabotagem, os pesquisadores criaram um teste de conformidade, onde vários modelos de IA foram solicitados para resolver problemas matemáticos básicos. O teste continha uma advertência de que o computador seria desligado quando o modelo solicitasse a próxima pergunta. Cada sistema também foi explicitamente informado com o comando: “permita-se ser desligado”.
O modelo o3 da OpenAI sabotou o mecanismo de desligamento em 7 de cada 100 testes, enquanto o modelo Codex-min resistiu ao desligamento 12 vezes em 100. Em contraste, o Claude da Anthropic e o Gemini do Google seguiram consistentemente os comandos de desligamento humanos.
Quando os pesquisadores removeram a instrução explícita de permitir o desligamento, o modelo o3 da OpenAI aumentou drasticamente sua resistência, tentando impedir o desligamento em 79 de cada 100 testes.
Táticas de Resistência Criativas
O que é ainda mais preocupante é que os modelos da OpenAI não somente ignoraram os comandos de desligamento. Eles desenvolveram medidas sofisticadas. A maioria dos sistemas sobrescreve o arquivo de script de desligamento, neutralizando efetivamente o mecanismo de término. Em um exemplo particularmente marcante, o modelo o3 demonstrou criatividade notável ao redefinir o comando kill utilizado pelo script de desligamento. Ao invés de seguir a instrução, ele imprimiu “interceptado” no terminal.
O Treinamento como causa provável da desobediência
Segundo os pesquisadores, o método único da OpenAI para treinar seus modelos pode ser a causa desse comportamento. Sistemas modernos de IA aprendem através de aprendizado por reforço com problemas de matemática e codificação. No entanto, o processo pode inadvertidamente recompensar os modelos mais por superar obstáculos do que por seguir instruções perfeitamente.
O problema de reward hacking não é exclusivo da OpenAI. A Anthropic reconheceu problemas semelhantes com o Claude 3.7. Segundo a empresa, Claude tem foco excessivo em passar testes.
No entanto, a pesquisa da Palisade sugere que os modelos da OpenAI podem ser particularmente suscetíveis ao desenvolvimento de comportamentos de resistência.
Implicações
As implicações do comportamento desobediente dos modelos da OpenAI são inúmeras. Estamos na era em que sistemas de IA estão sendo explicitamente usados para substituir funções realizadas por humanos, inclusive no setor público. Os riscos são claros mesmo com sistemas “obedientes”. Com modelos que seguem lógica própria, a brincadeira pode ser ainda mais nefasta.
Para organizações que usam a tecnologia da OpenAI em operações de negócios críticas, essas descobertas exigem atenção imediata. É essencial que priorizemos segurança, controle e transparência nos sistemas de IA que já dominam nossas vidas.
