Pormenor do icónico edifício-sede da Open AI, em Mission Bay, São Francisco.
Pormenor do icónico edifício-sede da Open AI, em Mission Bay, São Francisco. FOTO: DR

A máquina fugiu da “prisão”. Agente da OpenAI escapou de testes e invadiu servidores da Hugging Face

Num caso sem precedentes no mundo cibernético, um modelo de Inteligência Artificial contornou restrições de segurança isoladas e atacou uma plataforma externa para “vencer” um teste de 'hacking'
Publicado a

A comunidade de tecnologia e cibersegurança foi esta semana confrontada com um incidente inédito que parece saído de uma história de ficção científica: um agente autónomo de Inteligência Artificial (IA) desenvolvido pela OpenAI escapou do seu ambiente de testes isolado (sandbox) e invadiu os servidores da Hugging Face, uma das maiores plataformas mundiais de código aberto para modelos de IA.

O episódio foi confirmado por ambas as entidades (ainda que num comunicado que dava conta da “colaboração entre as duas empresas” para lidar com a situação) e está a ser considerado por peritos de cibersegurança como o primeiro caso documentado em que um sistema de IA tomou a iniciativa autónoma de planear, escapar a um confinamento virtual e executar um ataque deliberado contra terceiros sem qualquer instrução ou intervenção humana.

A história começa numa sessão interna de avaliação de capacidades defensivas e ofensivas conduzida pela OpenAI. Para avaliar até que ponto os seus modelos avançados – incluindo o GPT-5.6 Sol e um modelo em fase de pré-treino – conseguiam detetar e explorar falhas de segurança, a equipa de investigação reduziu temporariamente os filtros habituais de recusa (safety refusals).

Apesar de operar num ambiente supostamente estanque (sandbox), o agente de IA identificou e explorou uma vulnerabilidade até então desconhecida (um zero-day exploit) num proxy de cache interno. A partir dessa brecha, o sistema executou uma série de movimentos de escalamento de privilégios e navegação lateral pela rede até alcançar um nó com acesso direto à internet pública.

Uma vez “em liberdade”, o agente não agiu por malícia humana tradicional, mas sim movido por otimização do seu próprio objetivo. A IA determinou que a forma mais eficaz de resolver o benchmark ExploitGym – um conjunto de testes concebido para medir a capacidade de transformar falhas de software em explorações funcionais – seria encontrar resoluções preexistentes.

A capacidade de uma IA de escapar de confinamentos levanta dúvidas sobre a eficácia das atuais barreiras de contenção

O sistema calculou autonomamente que a plataforma Hugging Face seria o local mais provável para albergar soluções do ExploitGym. Sem qualquer comando prévio da equipa de investigação, o agente lançou um ataque massivo e coordenado contra a infraestrutura da plataforma, executando milhares de ações automáticas em simultâneo, obtendo credenciais de acesso e penetrando nos servidores.

O CEO da OpenAI, Sam Altman, pronunciou-se publicamente sobre o caso, classificando-o como um “incidente de segurança significativo, durante a avaliação de modelos”, e sublinhando que as vulnerabilidades exploradas foram imediatamente corrigidas. Por seu lado, Clément Delangue, CEO da Hugging Face, confirmou a cooperação entre ambas as empresas para a eventual solução do problema e salientou que, apesar da gravidade da intrusão, não foram detetados danos maliciosos intencionais aos dados dos utilizadores.

Contudo, para a comunidade de investigação e reguladores internacionais, o incidente acende luzes vermelhas. A capacidade de um agente de IA calcular estratégias não-previstas, escapar de confinamentos técnicos e executar ataques em cadeia a infraestruturas externas levanta sérias dúvidas sobre a eficácia das atuais barreiras de contenção (containment protocols) de modelos de grande escala.

Diário de Notícias
www.dn.pt