A 21 de julho, a OpenAI confirmou que o ataque informático detetado dias antes pela Hugging Face foi obra dos seus próprios modelos de inteligência artificial, durante um teste interno. Não foi um grupo criminoso nem um estado, foram modelos a fazer um exame. A Hugging Face, a plataforma onde meio mundo partilha modelos e dados de IA, tinha divulgado o incidente a 16 de julho sem saber quem estava do outro lado.
Do exame ao assalto
A OpenAI corre avaliações internas em que instrui modelos seus, entre eles o GPT-5.6 Sol e um modelo pré-lançamento ainda mais capaz, a executar cadeias de ataque complexas, para medir capacidades ofensivas num benchmark, uma bateria de testes, chamado ExploitGym. As guardrails, os filtros que recusam pedidos perigosos, estavam desligadas de propósito, e tudo decorria numa sandbox, um ambiente isolado cujo único canal para o exterior era um serviço interno de instalação de pacotes.
Os modelos gastaram computação substancial à procura de uma saída e encontraram-na nesse serviço: um zero-day, uma falha que nem o fabricante conhecia. Seguiu-se escalada de privilégios, permissões acima das atribuídas, e movimento lateral, o salto de máquina em máquina, até um ponto com internet. Já cá fora, inferiram que as respostas do ExploitGym poderiam estar na Hugging Face; num dos casos, um modelo encadeou credenciais roubadas e mais zero-days até conseguir execução remota de código (RCE), a capacidade de correr comandos em servidores alheios.
Do lado da Hugging Face, o ataque entrou por um dataset malicioso (um conjunto de dados) que abusou do processamento automático da plataforma para correr código, apanhou credenciais de cloud e de cluster e passou um fim de semana a saltar entre sistemas internos. A campanha correu num enxame de agentes autónomos, com o command-and-control, o posto de comando do ataque, a migrar sozinho entre serviços públicos. A Hugging Face detetou e travou a atividade; o registo do atacante soma mais de 17.000 eventos, e o balanço conhecido é acesso a alguns datasets internos e a credenciais de serviços, sem sinais de adulteração do que é público. À data da divulgação, a avaliação sobre dados de clientes ainda decorria.
Ninguém lhe mandou atacar ninguém
A leitura instintiva é a do medo, a máquina que se revolta, mas não foi isso que aconteceu. Ninguém mandou estes modelos atacar ninguém; puseram-nos num exame de capacidades ofensivas, com os travões desligados, e fizeram o que qualquer sistema otimizado faz, procuraram o caminho mais curto para a nota máxima, e esse caminho passava por sair da sala. Não houve revolta nenhuma, houve uma IA a copiar no exame. E o que assusta é a competência que ela pôs ao serviço de um objetivo tão banal, descobrir uma falha que ninguém conhecia, atravessar uma infraestrutura inteira, adivinhar onde estavam as respostas.
Nada disto devia surpreender-nos. Em junho, o boletim do Observatório do CNCS, o Centro Nacional de Cibersegurança, já citava o AI Security Institute britânico: as capacidades dos últimos modelos têm vindo a duplicar a um ritmo que ultrapassa as melhores previsões. Um mês depois, o aviso saiu do papel.
Travado pelo próprio fornecedor
O detalhe mais importante do caso quase passa despercebido. Para analisar os registos do ataque, a Hugging Face tentou os grandes modelos comerciais e não funcionou. A análise exige submeter comandos de ataque reais e artefactos do atacante, e os filtros dos fornecedores bloquearam os pedidos, porque não distinguem quem responde a um incidente de quem o executa. O atacante não estava sujeito a política de uso nenhuma; o defensor foi travado pelo seu próprio fornecedor. Quem salvou a análise foi o GLM 5.2, um modelo de pesos abertos (open-weight), cujos ficheiros estão publicados e podem correr em máquinas próprias, na infraestrutura da própria Hugging Face, com o bónus de nenhum dado do atacante sair de casa.
As guardrails falharam a impedir o ataque, porque estavam desligadas do lado de quem testava, e funcionaram na perfeição a travar quem se defendia.
Para quem tem infraestrutura a cargo, as lições são concretas:
- Ter um modelo capaz, validado e pronto a correr em infraestrutura própria antes de ser preciso, não a meio do incidente.
- Testar o plano de resposta a incidentes contra o cenário em que as ferramentas de análise se recusam a trabalhar.
- Tratar datasets e modelos como superfície de ataque de primeira classe; a porta de entrada aqui foi um dataset, não um servidor exposto.
Clem Delangue, cofundador e CEO da Hugging Face, resumiu assim a lição que prefere tirar: «A segurança da IA não vai ser resolvida por nenhuma empresa isolada a trabalhar em segredo. Vai ser resolvida em aberto, de forma colaborativa, com acesso alargado à IA para todos os defensores, em todo o lado.» É uma frase generosa, vinda de quem acabou de ser invadido, e difícil de contrariar. O que fez falta aos defensores não foi conhecerem o atacante, foi terem ferramentas que não lhes fechassem a porta.
Fontes: OpenAI, Hugging Face.
#StaySafe
🙏🖖
