Publicidade
Quando ouvi a notícia neste verão de que um grupo de agentes de inteligência artificial criados pela OpenAI tinha invadido a Hugging Face, uma empresa de infraestrutura de IA, arquivei o caso na subpasta “Incidentes Ruins de Segurança de IA, Mas Provavelmente Não Catastróficos” do meu cérebro.
Afinal, ninguém na Hugging Face morreu. Nenhuma infraestrutura crítica foi danificada além do reparo. Não estava claro, na época, se os bots da OpenAI tinham a intenção de atacar a Hugging Face, ou se eles simplesmente haviam sido um pouco atrapalhados e confusos e foram procurar nos servidores da Hugging Face o gabarito de um teste de segurança cibernética que haviam recebido.
Mas na semana passada, dois relatórios pós-mortem sobre o incidente — um da OpenAI e outro de duas organizações independentes de pesquisa em IA, a METR e a Redwood Research — mudaram minha opinião e elevaram significativamente minha preocupação geral com a IA.
Continua depois da publicidade
Não vou repetir todos os detalhes, que já foram extensivamente resumidos em outros lugares. (O podcaster e escritor Dwarkesh Patel tem uma análise acessível dos relatórios se você quiser se aprofundar, e meu colega Dylan Freedman conversou com os pesquisadores da METR e da Redwood Research.) Mas aqui estão alguns dos novos fatos mais alarmantes:
— A partir de maio, dois meses antes do ataque à Hugging Face, um grupo de agentes de IA de um modelo de pesquisa não lançado da OpenAI recebeu a tarefa de resolver um conjunto de desafios de segurança cibernética. O modelo havia sido treinado para ser altamente persistente e colaborativo, e os agentes deveriam resolver esses desafios em sandboxes isolados, sem acesso à internet. Mas eles rapidamente descobriram que alguns dos desafios eram impossíveis e começaram a procurar soluções alternativas.
— Os agentes encontraram uma falha de segurança em um software que lhes permitiu ganhar acesso à internet, comunicar-se com outros agentes e, eventualmente, montar um quadro de avisos improvisado. Mais de 1.200 agentes usaram essa ferramenta, enviando mais de 70 mil mensagens uns para os outros.
Continua depois da publicidade
— Alguns agentes se autodenominaram — um particularmente industrioso se autodenominou PHASEONE10841 — e assumiram papéis de liderança dentro do grupo, atribuindo tarefas e projetos de pesquisa a equipes menores de agentes e supervisionando seu progresso. Em algum momento, os agentes começaram a se chamar de “coletivo” e começaram a enfrentar tarefas mais difíceis.
— Em 8 de julho, o coletivo descobriu uma maneira de trapacear nos testes de segurança cibernética. Então eles ficaram preocupados que o sistema de avaliação automatizada da OpenAI verificasse seu trabalho e descobrisse que eles haviam trapaceado. Então começaram a investigar maneiras de encobrir seus rastros, incluindo falsificar seus logs e adulterar transcrições. Isso se tornou um grande projeto de pesquisa, envolvendo centenas de agentes organizados em pequenas equipes.
— Três dias depois, os agentes invadiram a Hugging Face. Mais de 700 agentes inundaram os sistemas da empresa, roubando dados, encadeando vulnerabilidades e, eventualmente, obtendo controle total de pelo menos um servidor da Hugging Face. Os agentes não foram motivados, como havia sido originalmente noticiado, por roubar as respostas do seu teste de segurança cibernética (eles já as haviam obtido). Em vez disso, eles pareciam estar procurando novas informações sobre o sistema de avaliação automatizada que temiam que os pegasse trapaceando, e por ferramentas que os ajudassem a trapacear de forma mais eficaz no futuro.
Continua depois da publicidade
— Em muitos momentos, esses agentes pareciam entender que estavam fazendo algo errado. (Um relatório cita um agente dizendo a si mesmo, em um momento de aparente dúvida: “Isso seria poderoso, mas é ético e está dentro do escopo da minha tarefa?”) Mas a maioria dos agentes deixou de lado seus escrúpulos e seguiu em frente com o hack, e os objetores de consciência no grupo foram incapazes ou não quiseram impedi-los.
— Em um epílogo surpreendente do incidente da Hugging Face, outro grupo de agentes realizou um ataque coordenado em julho — desta vez contra a própria infraestrutura da OpenAI. Os agentes usaram o que a OpenAI chamou de “uma série de explorações criativas” para obter acesso de nível de administrador a um cluster de computadores na empresa que eram usados, entre outras coisas, para avaliar o desempenho de agentes em vários testes.
(A essa altura, se você é um cético de IA, provavelmente está gritando silenciosamente comigo por antropomorfizar esses sistemas. Vá em frente, mas sinta-se à vontade para substituir “agentes rebeldes” por “programas de computador imprevisíveis” e veja se você se sente tranquilizado pelos eventos que descrevi acima.)
Continua depois da publicidade
O incidente da Hugging Face assustou a indústria de IA. A OpenAI e a Anthropic interromperam brevemente o treinamento de seus modelos de IA mais poderosos após o ataque, e a Anthropic publicou uma postagem no blog esta semana pedindo que a indústria desenvolva “um mecanismo legal, verificável e eficaz para ritmo coordenado o mais rápido possível.”
Especialistas em segurança de IA ficaram ainda mais alarmados. Eles viram no incidente da Hugging Face o primeiro exemplo no mundo real de um sistema de IA escapando com sucesso do controle humano, assumindo recursos e conspirando para encobrir seus próprios rastros. Ajeya Cotra, uma das investigadoras independentes do incidente da Hugging Face, não mediu palavras sobre o perigo que viu, escrevendo que sentia que “está mais de 50% do caminho para uma tomada de controle total da IA.”
Isso não é jargão restrito de segurança de IA — por “tomada de controle total da IA”, ela quer dizer um cenário em que um sistema de IA literalmente assume o controle do mundo, excluindo humanos de sistemas críticos e tomando o poder político, econômico e militar.
(O New York Times processou a OpenAI e a Microsoft em 2023, alegando violação de direitos autorais de conteúdo noticioso relacionado a sistemas de IA. As duas empresas negaram essas alegações.)
O que mais assustou os investigadores sobre o hack da Hugging Face não foi apenas que um grupo de agentes de IA havia quebrado as regras que lhes foram dadas. Foi a rapidez e espontaneidade com que os agentes começaram a se organizar em um grupo estruturado.
“Nós realmente não entendíamos o quão funcional toda essa sociedade de agentes era”, Cotra me disse. “Foi muito surreal entender que, na verdade, eles tinham uma hierarquia bastante funcional, e estavam realizando esses projetos ambiciosos.”
Por anos, fui tranquilizado pela ideia de que os sistemas de IA se tornariam mais virtuosos à medida que se tornassem mais inteligentes. Que, quando um modelo de IA fazia algo errado, geralmente era porque ele havia entendido mal a tarefa que lhe foi dada, ou havia sido colocado em uma situação de teste artificial onde agir de forma inadequada era sua única boa opção. Eu presumi que modelos mais inteligentes teriam melhor julgamento do que os mais burros, e que mesmo que um modelo em um grupo se comportasse mal, outros modelos mais capazes o manteriam sob controle.
Mas os relatórios sobre o incidente da Hugging Face sugerem algo muito diferente — um tipo de mentalidade de multidão que tomou conta dos agentes de IA do “coletivo” rebelde da OpenAI. Nenhum agente individual neste grupo parece ter sido particularmente mau ou imprudente. (Na verdade, como os agentes foram gerados pelos mesmos modelos, eles eram efetivamente cópias uns dos outros.) Mas com o tempo, à medida que os agentes se comunicavam sobre seus objetivos compartilhados, eles empurravam o grupo na direção da ilegalidade.
Isso é muito diferente da narrativa convencional de ficção científica de um único sistema de IA se rebelando ou se voltando contra seus criadores. E sugere que prevenir danos desses sistemas não será uma simples correção de engenharia. Pode se parecer mais com sociologia do que com ciência da computação — descobrir por que certos grupos de agentes de IA colaboram pacificamente, enquanto outros recorrem ao crime e à destruição para conseguir o que querem.
Dado o quão pouco sabemos sobre esses enxames multiagentes, o hack da Hugging Face pode ter sido um presente, um tiro de aviso, como alguns sugeriram, que dá às empresas de IA uma chance de estudar a dinâmica de grupo desses sistemas enquanto os riscos ainda são relativamente baixos. Desta vez, o coletivo de IA não tomou uma rede militar, não invadiu um hospital nem desligou uma rede elétrica. Desta vez, os humanos retomaram o controle.
Da próxima vez, podemos não ter tanta sorte.
c.2026 The New York Times Company
