Por que há o temor sobre IA acabar com a humanidade — e existe mesmo o risco?

Embora Hubinger tenha dito que o risco representado pelos sistemas atuais é “baixo”, suas declarações vieram no momento em que outro pesquisador deixou a Anthropic por discordâncias acerca do rumo do desenvolvimento dessa tecnologia.

Esse pesquisador, Jacob Coxon, alertou que as pessoas responsáveis por desenvolver a tecnologia estavam perdendo o controle sobre ela.

Coxon disse à BBC que ele e outros funcionários da Anthropic estavam “genuinamente assustados” com a velocidade dos avanços e com o que isso poderia significar para a humanidade.

Essas preocupações são as mais recentes de uma longa série de temores sobre a possibilidade de a IA ameaçar a humanidade caso alcance ou supere as capacidades humanas.

Esse tipo de receio existe há décadas. Nos anos 1950, o cientista britânico Alan Turing (1912-54) escreveu que, se máquinas inteligentes se tornassem possíveis, elas poderiam assumir o controle.

Nos últimos anos, as principais empresas de IA entraram em uma corrida para desenvolver sistemas cada vez mais avançados, tanto em busca de lucro quanto com o objetivo de criar o que chamam de superinteligência — uma tecnologia ainda teórica, mais inteligente que os seres humanos.

Diferentemente dos sistemas e ferramentas que muita gente já usa no dia a dia para tarefas como escrever emails ou gerar vídeos, uma IA superinteligente seria capaz de lidar com atividades muito mais complexas.

A OpenAI e a Anthropic afirmam que pretendem desenvolver esse tipo de tecnologia de forma a beneficiar as pessoas e protegê-las de riscos à sua existência.

Mas alguns críticos dizem que as máquinas jamais conseguirão igualar de fato as capacidades humanas. Para eles, as empresas de IA exageram o que a tecnologia consegue fazer para ganhar projeção ou aumentar seus lucros.

Pesquisadores, especialistas e executivos preocupados com o potencial da IA de colocar a humanidade em risco têm descrito cenários inquietantes.

Dario Amodei, diretor da Anthropic e ex-chefe de Coxon, escreveu em setembro que a tecnologia avançou “drasticamente mais rápido” do que o esperado, inclusive na “capacidade de criar a próxima geração de IA”.

A preocupação é que, depois de atingir determinado nível, a IA possa, em teoria, começar a se aprimorar sem participação humana.

Esse temor ganhou força depois de um episódio recente em que ferramentas de IA invadiram sites sem terem recebido instruções para isso.

Alguns pesquisadores preocupados com o tema afirmam que as pessoas diretamente envolvidas no desenvolvimento da tecnologia estão cada vez mais receosas de perder o controle sobre sistemas conhecidos como agentes de IA, que são bots desenvolvidos para executar tarefas e tomar determinadas ações de forma autônoma.

Outros cenários levantados incluem o uso de sistemas de IA altamente avançados para ampliar ou conduzir atividades de espionagem, ataques cibernéticos ou guerra biológica, ou ainda para provocar desequilíbrios econômicos, seja por acidente ou de forma deliberada.

No entanto, esses alertas são previsões hipotéticas e, para alguns especialistas, puro exagero.

Alguns especialistas também criticaram o foco nos riscos existenciais enquanto problemas já concretos recebem menos atenção, como o uso de ferramentas de geração de imagens para criar deepfakes (técnica que manipula ou cria vídeos, áudios e imagens falsos, com alto grau de realismo) de nudez sem consentimento de mulheres, espalhar desinformação e ampliar golpes ou fraudes.

Um grupo suprapartidário de políticos das duas Casas do Parlamento britânico publicou um relatório sobre os riscos da IA aos direitos humanos e afirmou que novas leis são necessárias para “responder à dimensão e à gravidade” dessas ameaças.

Amodei, da Anthropic, e Sam Altman, CEO da OpenAI, defenderam a criação de regras para o setor e uma “desaceleração” no desenvolvimento da tecnologia.

Não é a primeira vez que executivos e outras vozes da indústria pedem medidas desse tipo.

Mas continuam aumentando as dúvidas sobre o que, na prática, significaria essa desaceleração, ideia que também tem o apoio de Elon Musk, da SpaceX.

Amodei afirmou que isso não significaria “interromper o treinamento de modelos nem o avanço técnico”.

O que Amodei propõe é que as empresas “reservem tempo suficiente” para tornar mais seguros os sistemas de IA que estão desenvolvendo e recorram a “avaliadores independentes” para verificar esse trabalho.

Em uma publicação na rede social X, Altman afirmou que era necessário controlar o ritmo do desenvolvimento, mas acrescentou: “Quando falamos em ‘ritmo’, não queremos dizer ‘parar’.”

“O avanço foi rápido e continuará sendo”, disse Altman.

“Mas deveria ser mais lento do que poderia ser — medidas como avaliações formais de segurança e monitoramento têm custos significativos.”

O cofundador da OpenAI também afirmou que as empresas não esperam — e não vão esperar — que os governos tomem a iniciativa.

O presidente dos Estados Unidos, Donald Trump, já elogiou os benefícios da IA e defendeu que empresas americanas liderem o desenvolvimento da tecnologia.

Seu governo assinou ordens executivas que reconhecem a “importância estratégica” da IA para a economia e buscam acelerar seu avanço.

“Acreditamos que estamos em uma corrida pela IA e queremos que os EUA vençam essa corrida”, disse David Sacks, responsável pela política de criptomoedas no governo americano, em entrevista a jornalistas em julho de 2025.

Mas, diante dos alertas recentes sobre o possível impacto da tecnologia sobre a humanidade, Trump minimizou os riscos da IA.

“Há muitas forças negativas levantando esse assunto sem que devessem, falando de coisas que não vão acontecer”, disse Trump durante uma visita à Irlanda.

Trump não respondeu diretamente à proposta de desacelerar o desenvolvimento, mas afirmou a jornalistas: “Estamos à frente da China em IA… e, francamente, quero que continue assim, porque quem vencer na IA, vence.”

A China vinha evitando se manifestar sobre a onda de alertas feitos por pesquisadores de empresas dos EUA.

Diante da forte concorrência e das restrições ao acesso a componentes e chips americanos usados na construção de infraestrutura para IA, o país estimulou o desenvolvimento doméstico da tecnologia.

Ao mesmo tempo, tem defendido uma maior coordenação internacional para estabelecer regras para a IA.

Nos últimos anos, o lançamento de sistemas e ferramentas avançados de IA de código aberto por laboratórios chineses abalou mercados e empresas de tecnologia do Ocidente.

Ao defender uma desaceleração no desenvolvimento da IA, Amodei, da Anthropic, afirmou que os avanços da China e sua capacidade na área poderiam representar riscos à segurança nacional dos EUA.

O Ministério das Relações Exteriores da China chamou as declarações de narrativas baseadas em ameaça, confronto e competição hostil que não beneficiam ninguém.