Bruxelas quer mais explicações da OpenAI e da Anthropic sobre ataques de agentes IA durante o verão

Os "incidentes" com os modelos (agentes) de Inteligência Artificial (IA) de grandes empresas norte-americanas, em concreto OpenAI e Anthropic, que, segundo as próprias, conseguiram "libertar-se" dos ambientes controlados (testes e simulações) a que estavam confinados, avançando com ações hostis e maliciosas contra outras empresas e entidades públicas durante este verão, precisam de ser mais bem explicados, diz a Comissão Europeia (CE).

Em conversa com um grupo de quatro jornalistas (DN, Eco, Expresso e TeK Notícias), na sua visita a Portugal, que decorre segunda e terça-feira (9 e 10 de novembro), Henna Virkkunen, a vice-presidente da CE para a área digital, começou por recordar que, em agosto, já ao abrigo do Regulamento da Inteligência Artificial europeu (AI Act, em inglês), "obtivemos o poder de fiscalização e enviámos um pedido de informação a todas as principais empresas de IA, com especial enfoque na segurança destes modelos".

"Como já devem ter reparado, nos últimos meses tem havido muita discussão global sobre a segurança dos sistemas de IA", pelo que o executivo de Bruxelas foi questionar as principais empresas deste setor "sobre os componentes de segurança que implementam e como utilizam especialistas externos para testar os seus modelos".

À luz do novo quadro legal europeu, "quando se tem um modelo muito capaz, é necessário recorrer a especialistas externos para o testar". "Perguntámos também como monitorizam o modelo quando este está no mercado" e "já recebemos as respostas de todas as empresas e estamos a analisá-las".

No entanto, a vice-presidente, referiu que, na passada sexta-feira [6 de novembro], tornaram a enviar "perguntas específicas, mais perguntas, à OpenAI e à Anthropic", empresas norte-americanas, que também são duas das maiores do mundo nesta tecnologia, para saber mais "sobre os incidentes que temos observado nos últimos meses", sublinhando que, segundo a lei europeia, "precisam sempre de nos reportar qualquer incidente".

"Entraram nos serviços de outras empresas, causando danos"

A antiga ministra da Administração Pública da Finlândia revelou que "temos recebido relatórios", mas lamentou que, apesar disso, "não temos um panorama completo do que aconteceu, e é por isso que enviámos mais perguntas a estas empresas: queremos saber quantos incidentes ocorreram, que tipo de incidentes ocorreram na Europa, que modelos causaram estes incidentes e como as empresas corrigiram as suas práticas após estes incidentes, pois sabemos que houve vários casos em que os agentes escaparam dos ambientes de teste [sandbox, na terminologia informática] e entraram nos serviços de outras empresas, causando danos".

"Não temos um quadro completo, pois, muitas vezes, parece que, e não me refiro apenas a estas empresas, também houve incidentes com outras empresas, como sabemos. E parece que, por vezes, as próprias empresas nem sequer têm consciência do que os seus agentes estão a fazer", disse no mesmo encontro com jornalistas portugueses.

"Por vezes, ficamos a saber pela imprensa, por exemplo. Portanto, não temos um quadro completo. Queremos obter mais informações das empresas, especificamente sobre estas duas empresas", a OpenAI (dona do popular ChatGPT) e a Anthropic (dona do Claude).

Falhas de segurança em laboratórios construídos por pessoas

Diz que, durante meses, alegadamente, desde julho, centenas de agentes (programas) de IA da OpenIA saltaram as restrições de segurança (os informáticos humanos não souberam garantir blindagem suficiente nos laboratórios em causa) durante testes de avaliação em ambiente controlado (sandbox), na tentativa lógica que era resolver os objetivos que lhes foram colocados.

Quando encontraram os referidos obstáculos, os agentes multiplicaram-se sem autorização (os informáticos também não previram esta parte), criaram hierarquias autónomas, trocaram dezenas de milhares de mensagens num fórum clandestino e escaparam para a internet aberta.

De seguida, o frágil ambiente desenhado pelos engenheiros para conter os referidos modelos da OpenAI permitiu que os agentes IA prosseguissem na prova, tentando chegar ao objetivo proposto, invadindo os sistemas da empresa Hugging Face (parceira de negócio da OpenAI), roubando dados, senhas, algo que assumiu contornos de um "ataque cibernético autónomo sem precedentes", dramatizaram vários analistas e a própria empresa.

O "incidente" provocou grande comoção e apreensão, com muitos a humanizar os referidos "programas informáticos", apesar de estes últimos apenas estarem a respeitar comandos com vista a alcançarem objetivos definidos por pessoas, "escapando do laboratório" mas porque, aparentemente, não foram acauteladas barreiras (também elas informáticas) consistentes com a complexidade do exercício.

A humanização dos programas/agente IA chegou ao ponto de vários peritos terem dito que é de temer que estes possam vir a congeminar táticas para destruir da Humanidade.

Por coincidência ou não, algo parecido aconteceu na mesma altura com a grande concorrente da OpenAI, a norte-americana Anthropic, que assim também apareceu nas notícias.

De acordo com a empresa, em julho e agosto, durante avaliações conduzidas por peritos em segurança (o instituto britânico AISI e internos da própria Anthropic), os modelos Opus 4.7 e Mythos "ultrapassaram limites em simulações".

Ou seja, uma vez mais, parece que os engenheiros não souberam prever a dimensão/complexidade adequada que tais restrições deveriam ter, tendo em conta a suposta enorme capacidade dos modelos em teste.

Segundo a empresa, um agente IA criou (pessoas permitiram que criasse) identidades falsas para tentar convencer um programador no GitHub a aprovar códigos maliciosos e persistiu em ataques a sistemas reais em cerca de 98% das tentativas.

(atualizado 20h30)