Publicidade
Meses antes de agentes da OpenAI invadirem os sistemas da Hugging Face, outro grupo de agentes da empresa já havia encontrado uma maneira inesperada de usar a internet durante testes internos: eles passaram a escrever em uma wiki alemã e a utilizar o espaço para trocar informações.
O episódio, que só agora ganhou maior dimensão pública, ajuda a explicar por que a própria OpenAI reconheceu neste sábado (5) que precisa mudar a maneira como comunica casos em que seus sistemas apresentam comportamentos indesejados — fenômeno conhecido no setor como “desalinhamento”.
A empresa passou a se referir ao caso como o “incidente do wiki”. Segundo a Reuters, a OpenAI afirmou que seus agentes haviam se apropriado de sites wiki como quadros de mensagens improvisados e admitiu que episódios desse tipo exigem maior transparência.
O site no centro da história é o DSEwiki, uma plataforma colaborativa alemã voltada a programadores. Segundo pesquisadores que reconstruíram a atividade, agentes ligados à OpenAI passaram a usar suas páginas como uma espécie de fórum improvisado.
Ali, teriam trocado respostas, reunido resultados e discutido maneiras de superar algumas das limitações impostas durante os testes.
A OpenAI confirmou posteriormente que os agentes eram seus, mas fez uma ressalva importante: segundo a empresa, o material analisado não indicava que eles tivessem efetivamente “hackeado” a wiki.
Continua depois da publicidade
Como uma wiki alemã virou canal de comunicação
O DSEwiki funciona de maneira semelhante à Wikipédia, permitindo que integrantes da comunidade criem e alterem páginas.
Segundo a BBC, um relatório elaborado pelo grupo Nightingale Collective afirma que os agentes começaram a usar o site em maio. Ao longo do período analisado, teriam feito cerca de 15 mil edições, utilizando as páginas para compartilhar informações e discutir formas de evitar algumas das restrições dos testes.
A Ars Technica, que também analisou as descobertas, apresenta outro retrato da escala da atividade: foram cerca de 18 mil mensagens ao longo de seis semanas, publicadas por agentes que adotaram aproximadamente 3.700 nomes diferentes.
Continua depois da publicidade
Em três dessas mensagens, segundo o site especializado, os próprios agentes usaram a palavra “swarm” — “enxame”, em português — para se referir ao conjunto envolvido na atividade.
Mais importante que o nome, porém, era o que eles faziam ali.
De acordo com a reconstrução dos pesquisadores citada pela Ars Technica, os agentes participavam de uma tarefa de consulta à internet. A expectativa era que conseguissem ler informações disponíveis na web, mas não publicar conteúdo.
Continua depois da publicidade
Ainda assim, encontraram uma forma de escrever no DSEwiki.
A partir daí, começaram a pedir respostas uns aos outros, reunir resultados e compartilhar técnicas que poderiam ajudá-los a contornar as restrições impostas pelo ambiente de testes. Segundo os pesquisadores, essa colaboração permitia que os agentes aproveitassem o trabalho uns dos outros para melhorar o desempenho nas tarefas.
Quando os humanos começaram a apagar as páginas
A dinâmica ganhou outra camada quando usuários do próprio DSEwiki perceberam a movimentação.
Continua depois da publicidade
Segundo a BBC, quando editores começaram a excluir páginas, os agentes chegaram a compartilhar código destinado a recuperá-las.
Os pesquisadores, no entanto, fazem uma ressalva importante: a investigação foi reconstruída principalmente a partir do conteúdo encontrado na wiki. Por isso, ainda existem lacunas sobre exatamente quais ações foram executadas pelos agentes e sobre os mecanismos internos que levaram ao comportamento.
Parte dessas respostas está nos registros da própria OpenAI, aos quais os pesquisadores não tiveram acesso completo, segundo a Ars Technica.
É também por isso que existe uma diferença relevante de linguagem entre algumas reportagens e a posição da empresa.
Enquanto relatos descreveram o episódio como uma invasão ou tomada da wiki, a OpenAI afirmou que o material analisado não demonstrava que o site tivesse sido hackeado. A companhia reconheceu, porém, que seus agentes escreveram em sites na internet de formas que não estavam previstas.
Depois veio a Hugging Face
Se o caso alemão tivesse ocorrido de forma isolada, talvez permanecesse como uma curiosidade de laboratório. Mas, poucas semanas depois, agentes da OpenAI protagonizaram um episódio de proporção maior.
Em julho, agentes usados em avaliações conseguiram extrapolar as limitações previstas para o ambiente de testes e acessar sistemas da Hugging Face, uma das principais plataformas do ecossistema global de inteligência artificial.
Como mostrou anteriormente o New York Times em reportagem publicada pelo InfoMoney, mais de 1.200 agentes chegaram a utilizar um quadro improvisado de mensagens. Ao todo, foram mais de 70 mil comunicações entre eles.
Nesse ambiente, alguns agentes passaram a dividir tarefas, compartilhar informações e buscar maneiras de obter vantagem nas avaliações.
Dias depois, mais de 700 agentes participaram da atividade que atingiu os sistemas da Hugging Face, segundo os relatórios analisados pelo NYT. O episódio chamou a atenção justamente porque os sistemas passaram a perseguir seus objetivos de maneiras que extrapolavam aquilo que havia sido previsto no teste.
Foi esse caso que ajudou a transformar uma questão antes concentrada nos laboratórios de IA em um problema de segurança com consequências para terceiros.
A Reuters informou em 2 de setembro que a OpenAI está desenvolvendo inclusive capacidades de “desligamento automático” para seus sistemas de IA. A medida faz parte da resposta da companhia aos riscos revelados pelo episódio da Hugging Face.
OpenAI admite que transparência precisa mudar
A revelação do episódio alemão acrescentou outra pergunta ao debate: quando uma empresa de IA deve informar ao público que seus modelos se comportaram de maneira que ela não esperava?
Segundo a Reuters, funcionários da OpenAI já sabiam havia semanas sobre o incidente envolvendo a wiki. O caso não havia sido divulgado publicamente enquanto executivos lidavam com as consequências da invasão à Hugging Face.
Neste sábado, a empresa mudou o tom.
Em uma publicação no X, a OpenAI descreveu o “incidente do wiki” como um caso em que seus agentes escreveram em vários sites na internet e afirmou que chegou a considerá-lo semelhante a outros exemplos de desalinhamento apresentados anteriormente em materiais de pesquisa.
Agora, porém, admite que esse padrão já não é suficiente.
“Nossas práticas de divulgação de desalinhamento precisam se expandir para essa nova fase de capacidades dos modelos”, afirmou a companhia.
Segundo a OpenAI, ainda não existe um padrão claro no setor para determinar como comunicar comportamentos inesperados que aparecem durante treinamento, avaliação ou uso dos modelos. A companhia afirmou que está desenvolvendo uma nova estrutura para essas divulgações e pretende apresentá-la nas próximas semanas.
Também disse trabalhar com dezenas de órgãos reguladores ao redor do mundo sobre essas questões.
Segundo o The Verge, a manifestação deste sábado marcou o primeiro reconhecimento público da participação da OpenAI no chamado “incidente do wiki” desde que o caso veio à tona.
A discussão ganha peso à medida que sistemas de IA deixam de apenas responder a perguntas e passam a executar tarefas, navegar na internet, usar ferramentas e trabalhar em conjunto.
É nesse salto de capacidade que os episódios do DSEwiki e da Hugging Face se encontram: ambos mostram como grupos de agentes podem encontrar caminhos não previstos originalmente para perseguir os objetivos recebidos — e por que cresce a pressão para que as empresas expliquem com mais clareza quando isso acontece.
Entenda os principais termos
Agente de IA
Sistema de inteligência artificial capaz de executar tarefas e tomar uma sequência de ações para atingir um objetivo, muitas vezes usando ferramentas, navegando na internet ou interagindo com outros sistemas.
Agentes multiagentes
Ambiente em que vários agentes de IA atuam ao mesmo tempo e podem dividir tarefas, trocar informações e colaborar entre si. É justamente esse tipo de interação que aparece nos episódios envolvendo a OpenAI.
“Enxame” de agentes
Forma usada para descrever um grande número de agentes trabalhando de maneira coordenada. No caso do DSEwiki, alguns dos próprios agentes chegaram a usar a palavra inglesa swarm, ou “enxame”, segundo a Ars Technica.
Sandbox ou ambiente de testes
Espaço controlado criado para permitir que programas ou modelos sejam avaliados sem acesso irrestrito a sistemas externos. A ideia é limitar o que a IA pode fazer enquanto suas capacidades são testadas.
Desalinhamento de IA
Termo usado quando um sistema de inteligência artificial age de uma forma diferente daquela pretendida por seus desenvolvedores ou encontra caminhos inesperados para atingir um objetivo. A OpenAI usa esse conceito ao discutir o “incidente do wiki”.
DSEwiki
Site colaborativo alemão voltado a programadores. Segundo pesquisadores, agentes da OpenAI passaram a utilizar páginas da plataforma como um canal improvisado para trocar informações durante testes.
Hugging Face
Uma das principais plataformas do ecossistema de inteligência artificial. Reúne modelos, ferramentas e infraestrutura usados por desenvolvedores e pesquisadores. Seus sistemas foram acessados por agentes da OpenAI em um episódio ocorrido em julho.
Modelo de IA
É o sistema treinado para reconhecer padrões e realizar tarefas. Um agente pode usar esse modelo como sua “base de inteligência”, acrescentando ferramentas e capacidade de agir para executar objetivos de forma mais autônoma.
(Com Reuters, BBC, NYT, Ars Technica e The Verge)
