Jacob Coxon, investigador da Anthropic, demitiu-se, denunciando a indiferença da indústria perante o risco de a IA poder aniquilar a humanidade. Poucos dias depois, Dario Amodei, diretor executivo da Anthropic, publicou um ensaio em que explica como e por que razão a indústria e os governos devem unir esforços para abrandar o desenvolvimento da IA de fronteira e impedir que esta escape ao controlo humano. Outros aderiram rapidamente.
Nada disto é novo. Geoffrey Hinton, eminente informático conhecido como o "padrinho da Inteligência Artificial", estimou, antes de qualquer outra pessoa, entre 10% e 20% a probabilidade de uma IA avançada poder pôr fim à Humanidade nos próximos 30 anos. Por mais alarmante que isso possa parecer, implica uma probabilidade de sobrevivência de 80% a 90%. Então, como podemos aumentar as probabilidades de alcançar este desfecho mais seguro?
Há formas de aproximar a Humanidade do lado mais seguro das probabilidades de Hinton. Nada é garantido, mas algumas condições fariam a diferença.
A cooperação entre os Estados Unidos e a China é um foco óbvio, dado que são os países com maior influência sobre o futuro da IA. A proposta de Amodei, que prevê avaliadores independentes integrados, limiares de capacidades e um caminho para normas partilhadas, constitui uma base sólida, mas não pode partir de uma única empresa. Outros intervenientes, incluindo os governos, têm de estar de acordo.
O abrandamento deveria ser uma condição prévia e um objetivo imediato, para ganhar tempo para criar três mecanismos de avaliação: verificação contra o desenvolvimento e a implementação clandestinos, avaliação independente de capacidades perigosas e monitorização coletiva de incidentes com protocolos de crise.
Há um precedente de cooperação entre a China e os Estados Unidos para evitar riscos partilhados. Em novembro de 2024, Washington e Pequim acordaram que as decisões sobre armas nucleares não deveriam ser delegadas à IA. Isso não pôs fim à rivalidade, nem era esse o objetivo. O objetivo era responder a uma preocupação partilhada sobre a tomada de decisões nucleares.
A segurança da IA precisa de um canal semelhante. As conversações entre o Tesouro norte-americano, em Washington, e os responsáveis pelo planeamento económico, em Pequim, centram-se na estabilidade financeira e na utilização indevida por intervenientes mal-intencionados. Essa agenda poderia alargar-se à perda de controlo, à autoaperfeiçoamento recursivo e à escalada de crises. Com o presidente Xi esperado em Washington este mês e várias grandes cimeiras no horizonte, abre-se uma oportunidade.
Estes canais não devem ser improvisados. Um caminho realista parte de compromissos voluntários entre laboratórios e de medidas para promover avaliações independentes, eventualmente reforçados por incentivos fortes. Isto deveria conduzir a regras mais formais e vinculativas e a um organismo internacional encarregado de as fazer cumprir.
Para além da diplomacia entre os Estados Unidos e a China, a colaboração entre outros países poderia trazer equilíbrio ao ecossistema mundial da IA. Muitas "potências médias" querem ter uma palavra a dizer nas normas que moldam as suas sociedades, mas não dispõem da capacidade computacional necessária para desenvolver modelos de fronteira concorrentes. Os Estados Unidos detêm cerca de 75% da capacidade mundial de computação para IA, a China 15% e a União Europeia cerca de 5%.
A partilha de recursos, uma abordagem a que alguns chamam o CERN da IA, dar-lhes-ia maior capacidade de influência e permitiria desenvolver capacidades de avaliação, além de lhes conferir maior legitimidade para participar nos processos de verificação e exigir responsabilidades a todos. Em vez de tentarem construir campeões nacionais, poderiam reunir instituições públicas de investigação, orçamentos de computação e conhecimentos técnicos em programas partilhados de segurança da IA de fronteira. Dividiriam o elevado custo do treino de modelos e construiriam sistemas com garantias de segurança integradas.
Há sinais positivos. A Austrália, o Canadá, a UE, a França, o Japão, o Quénia, a Coreia e Singapura já cooperam através de uma rede de institutos de segurança da IA agora gerida a partir do Reino Unido. Nove das 12 principais empresas de IA estabelecem limiares a partir dos quais um modelo se torna suficientemente poderoso para justificar maior cautela, mas deslocam a fasquia à medida que a competição se intensifica, com receio de perder a sua vantagem. Não existe um parâmetro comum. Cada empresa decide por si.
Depois dos incidentes relacionados com a IA deste verão e das declarações da semana passada, a autoavaliação não inspirará a confiança do público. Peritos independentes, dotados dos recursos necessários para verificar se os controlos de acesso, a monitorização e os sistemas de desligamento funcionam, constituem uma via mais credível, tal como a aviação regista os incidentes evitados por pouco para identificar o perigo antes que este se transforme numa catástrofe.
A última condição é menos dramática, mas não menos crucial: um vocabulário comum para os riscos da IA de fronteira, que permita uma governação internacional coordenada. Embora a Assembleia-Geral das Nações Unidas deste mês não vá produzir um acordo vinculativo, não deve ser avaliada por esse critério. O seu valor está noutro lugar.
Antes de os governos poderem chegar a acordo sobre o que fazer, têm de chegar a acordo sobre aquilo de que estão a falar e, depois, decidir até onde estão dispostos a ir para evitar uma catástrofe.
Há precedentes na gestão dos riscos globais. Veja-se a diplomacia do ozono. A Convenção de Viena de 1985 não estabeleceu limites vinculativos para as substâncias que destroem a camada de ozono, apenas definições comuns e um fórum para comparar dados. Sete semanas depois, os investigadores publicaram a descoberta de um buraco na camada de ozono. Dois anos mais tarde, esse quadro tornou-se o Protocolo de Montreal, vinculativo e dotado de mecanismos de aplicação.
Primeiro vieram as definições e os encontros. Seguiu-se uma ação rápida e vinculativa quando as provas se tornaram incontestáveis. O mesmo pode acontecer com a IA: primeiro medidas voluntárias e definições partilhadas, depois regras vinculativas quando as provas e a vontade política forem incontestáveis, com o compromisso regional a tornar-se global.
Muito dependerá da forma como os laboratórios chineses e Pequim responderem ao apelo de Amodei. A sua resposta mostrará se a vontade de abrandar é realmente partilhada.
Nada disto garante os quatro quintos mais seguros das probabilidades de Hinton. Os cientistas continuam a divergir quanto à dimensão do risco catastrófico, e os governos têm muitas razões para adiar decisões difíceis. Mas estes passos demonstrariam, no mínimo, que não estamos dispostos a resignar-nos à probabilidade.
O alerta de Hinton tinha como objetivo inquietar-nos. Deve também lembrar-nos que a maior parte do futuro continua por decidir e que ainda cabe a nós moldá-lo. Mas o tempo está a esgotar-se, e não há regresso depois de uma perda de controlo.