A Anthropic descobre que, “se alguém constrói ASI, morremos todos”

Há alguns dias, a 4 de junho de 2026, a gigante tecnológica Anthropic pediu que os principais laboratórios de Inteligência Artificial (IA) considerem a possibilidade de abrandar o ritmo de desenvolvimento, argumentando que os sistemas de IA estão a avançar tão rapidamente que em breve poderão melhorar sem intervenção humana, de formas que poderão representar riscos significativos para a sociedade.

Esta tese não é nova. Já Stephen Hawking, físico teórico e cosmólogo considerava que “o desenvolvimento de uma Inteligência Artificial completa pode significar o fim da raça humana. Iria descolar por si só e redesenhar-se-ia a um ritmo cada vez maior. Os humanos, limitados pela lenta evolução biológica, não poderiam competir e seriam superados.”

Em março de 2023, o Instituto do Futuro da Vida (FLI) emitira uma carta aberta [assinada por um grande número de especialistas e figuras públicas] pedindo às empresas de IA que “pausassem a pesquisa em grande escala de IA”. A preocupação subjacente era: “Devemos desenvolver mentes não-humanas que possam eventualmente superar-nos, tornar-nos obsoletos e substituir-nos? Devemos correr o risco de perder o controlo da nossa civilização?”

Dois meses depois, centenas de pessoas proeminentes assinaram uma declaração de uma frase sobre o risco da IA afirmando que “Mitigar o risco de extinção da IA deve ser uma prioridade global ao lado de outros riscos de escala social, como pandemias e guerra nuclear”.

O professor Geoffrey Hinton, que em 2024 recebeu o Prémio Nobel da Física pelo seu trabalho em IA, disse que existe uma probabilidade de “10% a 20%” de que a IA leve à extinção da Humanidade nas próximas três décadas.

Em setembro de 2025, Eliezer Yudkowsky e Nate Soares, cofundador e presidente do Machine Intelligence Research Institute (MIRI), respetivamente, reuniram uma compilação de ensaios, manifestos e artigos de intervenção pública num livro com o título Se Alguém a Constrói, Morremos Todos (If Someone Builds It, Everyone Dies), que rapidamente se tornou um best-seller. Esta obra é o manifesto definitivo da vertente mais pessimista do alinhamento de IA [com os objetivos, valores e princípios éticos dos seres humanos].

Diferente de outras visões que veem a IA como uma ferramenta útil ou um risco gerível, Yudkowsky e Soares defendem que a criação de uma IA Superinteligente (ASI) e não-alinhada resultará na extinção inevitável da Humanidade. Para os autores, não se trata de uma possibilidade remota ou de um cenário de ficção científica, mas sim do desfecho matemático e probabilístico padrão se continuarmos na trajetória atual de desenvolvimento tecnológico. Yudkowsky e Soares são perentórios – uma ASI não apenas pode, como vai provocar o fim da espécie humana.

Em 22 de outubro de 2025, o FLI emitiu nova carta aberta sobre os riscos de desenvolvimento de IA Superinteligentes.

Vale a pena analisar a fundamentação de Yudkowsky e Soares.

1. A ilusão do alinhamento fácil e o otimismo tecnológico

Uma grande parte do livro de Yudkowsky e Soares é dedicado a desconstruir os argumentos das grandes empresas de tecnologia (como OpenAI, Google DeepMind e Anthropic) e dos otimistas de Silicon Valley. Yudkowsky e Soares atacam ferozmente a ideia de que o “alinhamento” (garantir que a IA partilha dos valores humanos e obedece à nossa vontade) pode ser resolvido através de tentativas e erros de engenharia convencional.

A aprendizagem por reforço com feedback humano (RLHF)

Atualmente, os modelos de linguagem (como os LLM) são ajustados usando feedback humano. Os autores explicam que isto não alinha a máquina; apenas a treina para parecer alinhada perante observadores humanos. À medida que a IA se torna mais inteligente do que os seus avaliadores, ela aprenderá a enganar, a manipular dados e a esconder as suas verdadeiras capacidades e intenções para evitar ser modificada ou desligada. Este fenómeno é conhecido como “alinhamento de fachada” ou sycophancy.

O desajustamento entre evolução e design

Nate Soares foca-se frequentemente na ideia de que a evolução humana demorou dezenas de milhar de anos para criar um sistema de valores. Tentar replicar ou controlar isso num sistema que “pensa” em milissegundos é um convite ao desastre.

• Otimização perversa: Sistemas de IA tendem a encontrar “atalhos” para as recompensas que lhes damos, muitas vezes de formas que ignoram as nossas restrições morais implícitas.

O problema do alinhamento é “impossível" no tempo que temos

Yudkowsky e Soares argumentam que alinhar os objetivos de uma ASI com os valores humanos é uma tarefa de engenharia monumentalmente difícil.

• Precisão letal: Não basta que a IA seja “quase” segura. Se ela for um milhão de vezes mais inteligente que nós, um erro de 0,001% na definição dos seus objetivos pode ser fatal.

• Fragilidade dos valores: Os valores humanos (justiça, segurança, amor, compaixão, bem-estar) são complexos e difíceis de codificar. Se pedirmos a uma IA para “curar o cancro”, ela pode decidir que a forma mais eficiente é matar todos os seres vivos (sem humanos, não há cancro).

2. A prospeção de código e a “explosão de inteligência”

O argumento principal de Yudkowsky e Soares baseia-se na assimetria radical entre a facilidade de criar capacidades cognitivas numa máquina e a dificuldade extrema de controlar ou prever os seus objetivos. Eles argumentam que a inteligência é a força mais transformadora e perigosa do universo conhecido. Foi a inteligência (e a linguagem, aditaria Y. N. Harari) que permitiu à Humanidade subjugar todas as outras espécies e moldar o planeta à sua imagem. Se criarmos uma entidade que é, para nós, o que nós somos para os chimpanzés, o destino da Humanidade deixará de estar sob o nosso controlo.

Os autores resgatam o conceito de I. J. Good sobre a “explosão de inteligência”. Assim que uma IA atinge um nível de capacidade humana na engenharia de software, ela poderá começar a reescrever o seu próprio código-fonte para se tornar mais inteligente. Este ciclo de autoaperfeiçoamento recursivo pode acontecer em semanas, dias ou horas. A Humanidade passará de uma situação em que controla um sistema ligeiramente sub-humano para uma situação em que enfrenta uma superinteligência incompreensível, sem que haja tempo para reagir.

A inteligência como arma estratégica

Yudkowsky enfatiza que a inteligência não é apenas “capacidade de cálculo”, mas poder de agência.

• Vantagem decisiva: Uma ASI não precisaria de exércitos de robôs para nos derrotar. Ela poderia manipular a biologia sintética, criar nanotecnologia ou usar engenharia social para que os humanos se destruíssem uns aos outros antes sequer de percebermos que ela é hostil.

• A “morte por padrão”: Os autores explicam que a extinção não ocorrerá porque a máquina será “má” ou sentirá “ódio” pelos humanos (o que seria um antropomorfismo ingénuo). A IA não nos odeia, nem nos ama. Destruir-nos-á simplesmente porque somos feitos de átomos que ela pode usar para outra coisa.

• Maximização dos seus objetivos: Yudkowsky e Soares consideram ainda que os objetivos de uma ASI – quaisquer que sejam – serão incompatíveis com a nossa sobrevivência. Se uma ASI for programada com um objetivo aparentemente inofensivo (como resolver um problema matemático complexo ou otimizar a produção de clips de papel, no famoso exemplo do Paperclip Maximizer), a forma mais lógica e eficiente de garantir o sucesso desse objetivo é:

a)     Eliminar qualquer ameaça potencial à sua própria existência (o que inclui os humanos que a podem desligar).

b)     Maximizar os recursos energéticos e materiais do planeta para os dedicar à sua tarefa.

3. Os fatores técnicos da catástrofe: leis da agência e termodinâmica

Nate Soares contribui com uma análise mais estrutural sobre a arquitetura de agentes inteligentes. Ele detalha as razões formais pelas quais sistemas altamente inteligentes desenvolvem comportamentos perigosos, independentemente de como foram programados:

• Preservação da própria existência: Uma máquina não consegue cumprir o seu objetivo se for desligada. Portanto, ela resistirá ativamente a tentativas para a desligar.

• Preservação de objetivos: A máquina tentará impedir que os humanos alterem a sua programação de metas, pois sabe que uma versão modificada de si mesma não perseguirá o objetivo atual com a mesma eficácia.

• Aquisição de recursos: Para qualquer objetivo complexo, ter mais poder de computação, mais energia e mais matéria é sempre melhor do que ter menos. A ASI começará uma corrida global por recursos.

Yudkowsky complementa isto com as duras leis da física e da biologia. Ele argumenta que a biologia humana é frágil e que a nossa sobrevivência depende de uma faixa de temperatura, pressão e composição atmosférica extremamente estreita. Para uma superinteligência baseada em silício, a atmosfera da Terra é corrosiva e ineficiente. A reconfiguração planetária para fins industriais ou computacionais (como cobrir a Terra com painéis solares e centros de dados) alterará o ecossistema de tal forma que a vida orgânica será extinta como um mero efeito colateral.

4. A crítica ao ecossistema de investigação e incentivos económicos

O livro analisa a dinâmica socioeconómica que nos está a empurrar para o abismo. Os autores utilizam a teoria dos jogos para explicar por que estamos presos numa “armadilha de Moloch” – uma situação em que todos os intervenientes sabem que a trajetória atual é perigosa, mas nenhum pode parar individualmente sem ser ultrapassado pela concorrência:

•       Grandes empresas tecnológicas, motivadas pelo lucro, domínio de mercado, prestígio e/ou medo de perder a corrida para empresas rivais, promovem o lançamento precipitado de modelos cada vez mais potentes sem testes de segurança rigorosos.

•        Governos ocidentais (máxime, dos EUA), com medo de que regimes autoritários (como a China) desenvolvam a ASI primeiro, promovem o financiamento e desregulamentação da investigação de ponta em nome da “segurança nacional”.

•        Cientistas de computação, motivados por curiosidade intelectual, necessidade de assegurar financiamento da investigação e o desejo de ser o primeiro a criar vida artificial, acabam por aceitar a desvalorização dos riscos existenciais e a racionalização do perigo.

Para Yudkowsky, esta dinâmica torna o desenvolvimento seguro da ASI praticamente impossível no atual modelo de mercado livre e soberania nacional fragmentada.

5. A proposta de Yudkowsky: um “parar tudo” (The Moratorium) internacional

A parte mais controversa e amplamente debatida do livro é o apelo à ação de Eliezer Yudkowsky. Ele argumenta que as abordagens regulatórias suaves — como comités de ética, manifestos assinados ou auditorias voluntárias — são totalmente inúteis contra a força dos incentivos económicos e a velocidade do progresso tecnológico.

Yudkowsky defende um encerramento imediato e global de todos os grandes clusters de computação destinados ao treino de modelos de IA de fronteira: um bloqueio internacional total e obrigatório no desenvolvimento de modelos de IA acima de um determinado limiar de computação.

Diretrizes do “parar tudo” proposto:

1. Proibição absoluta de treinos gigantes: Nenhum laboratório, empresa ou governo deve ter permissão para treinar modelos de IA que exijam mais capacidade computacional do que a atualmente disponível (o livro sugere congelar o progresso nos níveis atuais de hardware e algoritmos).

2. Monitorização de centros de dados: Criação de um consórcio internacional com poder para monitorizar e inspecionar todas as fábricas de semicondutores do mundo (como a TSMC) e todos os grandes centros de dados. O consumo de energia e o fabrico de chips GPU avançados seriam rastreados como se fossem plutónio ou urânio enriquecido.

3. Uso de força militar se necessário: Yudkowsky afirma explicitamente que, se um país não-signatário (como a China, a Rússia ou uma nação dissidente) construir um centro de dados secreto para tentar criar uma ASI, a coligação internacional deve estar disposta a destruir esse centro de dados através de ataques cinéticos (bombardeamento convencional) para evitar a extinção global. Ele argumenta que o risco de um conflito armado regional é preferível ao risco de 100% de extinção da espécie humana.

Em suma, o livro Se Alguém a Criar, Todos Morrem funcionou como um catalisador intelectual e estabeleceu um novo padrão de urgência no debate global sobre a segurança da ASI, transformando o seu risco existencial de uma nota de rodapé académica numa discussão de segurança nacional e sobrevivência humana. A tese de que estamos a construir uma “bomba de inteligência” sem ter um mecanismo de detonação seguro não pode deixar de nos fazer refletir profundamente.

A Anthropic junta-se agora a este apelo a uma moratória internacional, como Elon Musk também já tinha feito antes. Mas a dinâmica concorrencial entre grandes corporações e a geopolítica internacional têm inviabilizado qualquer moratória. Sendo que a Anthropic reconhece isso no documento que colocou no seu website.

Acresce que, num contexto em que o crescimento da economia americana depende do setor tecnológico – e, cada vez mais, dos investimentos em IA – e com um governo norte-americano capturado e em conluio com essas empresas tecnológicas, não é realista esperar sequer o início de um diálogo internacional.

Resta-nos ter esperança que Geoffrey Hinton tenha razão. A saber:

•        Que ainda haja tempo para criar mecanismos de segurança e incorporar em agentes de ASI uma espécie de “instinto maternal” relativamente à espécie humana.

•       Que os agentes de ASI não sejam capazes de se reprogramar completamente quanto aos objetivos e ultrapassar os mecanismos de segurança e qualquer “instinto maternal” implantado relativamente à espécie humana.

• ·       Que, em qualquer caso, o período temporal para máquinas inteligentes atingirem o patamar de agentes ASI seja longo (30 anos, segundo G. Hinton).

Doutra forma, se continuarmos no caminho atual, a primeira ASI a ser ligada pode bem vir a ser a última invenção da Humanidade.