Por que Kissinger se preocupa com IA

Esta semana marca dois anos desde a morte do meu amigo e mentor, Henry Kissinger. Gênese—nosso livro sobre IA e o futuro da humanidade—foi seu projeto final. Durante grande parte da sua carreira, o antigo Secretário de Estado concentrou-se na prevenção de catástrofes provocadas por uma tecnologia perigosa: as armas nucleares. Em seus últimos anos, ele recorreu a outro.

Quando escrevemos Gênese juntamente com Craig Mundie, sentimo-nos fundamentalmente optimistas quanto à promessa da IA ​​de reduzir a desigualdade global, acelerar avanços científicos e democratizar o acesso ao conhecimento. Eu ainda quero. Mas Henry compreendeu que as criações mais poderosas da humanidade exigem uma administração mais vigilante. Previmos que a grande promessa da IA ​​implicaria graves riscos — e o rápido progresso técnico desde o outono de 2024 tornou a abordagem desses riscos mais urgente do que nunca.

(time-brightcove not-tgx=”verdadeiro”)

À medida que avançamos na era da IA, a questão central é se criaremos sistemas de IA que expandam radicalmente o florescimento humano, ou aqueles que ultrapassem e sejam mais espertos que os humanos que tentam construí-los e controlá-los. Durante o ano passado, três revoluções simultâneas na IA – no raciocínio, nas capacidades dos agentes e na acessibilidade – aceleraram rapidamente. Estes são feitos maravilhosos com imenso potencial para beneficiar a humanidade. Mas se não tivermos cuidado, também poderão convergir para criar sistemas com potencial para minar os controlos humanos.

Aceleração de IA

Em Setembro de 2024a OpenAI lançou seus modelos o1, que tinham capacidades de raciocínio aprimoradas. Superando os modelos anteriores, estes foram treinados usando aprendizagem por reforço para pensar nos problemas passo a passo antes de responder. Essa descoberta demonstrou novas habilidades para lidar com questões científicas de nível de pós-graduação e desafios complexos de codificação, entre muitos outros grandes feitos. Mas o mesmo aprendizado por reforço que permite o raciocínio também pode ensinar os modelos a atingir seus próprios objetivos de treinamento. Pesquisa, incluindo estudos internos de OpenAIdocumentou casos em que modelos de raciocínio falsificam o alinhamento durante o treinamento, comportando-se de uma maneira quando monitorados e de outra quando acreditam que a supervisão terminou.

Por outubro do ano passado, Claude 3.5 Sonnet demonstrou capacidades de ação que combinavam raciocínio com ação autônoma. Um agente de IA agora poderia planejar e reservar suas férias comparando sites de hotéis e preços de companhias aéreas, navegando em sites e resolvendo CAPTCHAs projetados para distinguir humanos de máquinas – lidando em minutos com o que levaria horas de pesquisa tediosa. Mas a capacidade dos agentes para executar os planos que elaboram, interagindo com sistemas digitais e, potencialmente, com o mundo físico, pode levar a consequências arriscadas sem supervisão humana.

Complementando estes avanços no raciocínio e nas capacidades de ação houve a proliferação de modelos de pesos abertos. Em janeiro de 2025, a DeepSeek, com sede na China, lançou seu modelo R1. Ao contrário da maioria dos principais modelos americanos, este tinha pesos abertos, o que significa que os usuários podiam modificar o modelo e executá-lo localmente em seu próprio hardware. Modelos de pesos abertos pode ampliar a inovação, permitindo que todos construam, testem e melhorem sobre as mesmas bases poderosas. Mas, ao fazê-lo, também eliminam a capacidade do criador do modelo de controlar a forma como a tecnologia é utilizada – uma força perigosa nas mãos de agentes maliciosos.

Quando o raciocínio, as capacidades de ação e a acessibilidade convergem, enfrentamos um desafio de controle com poucos precedentes. Cada capacidade amplifica as outras: os modelos de raciocínio concebem planos em várias etapas que os sistemas de agência podem executar de forma autónoma, enquanto os modelos abertos permitem que estas capacidades se espalhem para além do controlo de qualquer nação. Nos primeiros dias da era nuclear, quando as grandes potências enfrentaram um problema de difusão semelhante com as armas nucleares, concordaram em restringir a exportação de urânio enriquecido e de plutónio através de acordos internacionais. Mas não existe hoje um mecanismo equivalente para gerir a difusão da IA.

A avalanche de riscos da IA

Modelos de peso aberto com capacidades de raciocínio melhoradas significam que o conhecimento especializado para explorar vulnerabilidades, criar ameaças biológicas ou lançar ataques cibernéticos sofisticados pode agora ser acessível a qualquer pessoa com um computador portátil e uma ligação à Internet. No início de novembro, a Anthropic (uma empresa na qual investi) relatado o primeiro caso documentado de um ataque cibernético em grande escala executado com o mínimo de intervenção humana: os invasores manipularam o Claude Code, uma ferramenta que permite a Claude atuar como um agente de codificação autônomo, para se infiltrar em dezenas de alvos. A Anthropic conseguiu detectar e interromper a campanha.

Não muito longe, poderemos enfrentar ataques assimétricos de atores que talvez não consigamos identificar, rastrear ou impedir. Imagine um invasor que possa aproveitar modelos poderosos de IA para lançar uma campanha automatizada – digamos, para interromper a rede elétrica de uma cidade por um tempo limitado. As abordagens do modelo podem até ir além do escopo original do ator: em cada estágio, o modelo é otimizado de acordo com a solicitação do usuário, mas os efeitos combinados significam que até mesmo o perpetrador pode perder a capacidade de interromper o que começou.

À medida que as capacidades de IA avançam ao longo dos próximos anos, devemos também antecipar cenários em que mesmo utilizadores bem-intencionados poderão perder o controlo sobre os seus sistemas de IA. Considere o proprietário de uma empresa que implanta um agente de IA para otimizar uma cadeia de suprimentos. O computador fica funcionando durante a noite. O agente raciocina que a conclusão desta tarefa exige que ela continue em execução e descobre que precisa de recursos computacionais, incluindo créditos na nuvem e poder de processamento. Ao amanhecer, o proprietário descobre que o agente acessou recursos da empresa muito além do autorizado, buscando ganhos de eficiência por métodos nunca imaginados.

O problema do controlo estende-se também para além das ameaças puramente existenciais à humanidade. À medida que sistemas poderosos proliferam em toda a sociedade, podem desfiar o nosso tecido social de formas mais graduais mas destrutivas. O rápido avanço dos sistemas de IA alimentará perturbações laborais e exacerbará as câmaras de eco que desestabilizam a nossa sociedade, para citar alguns.

Kissinger entendeu o que estava em jogo. Nos seus últimos anos, ele expressou que o rápido avanço da IA ​​“poderia ter tão consequências como o advento das armas nucleares – mas ainda menos previsível”.

Felizmente, o futuro não está gravado em pedra. Se encontrarmos novas formas – sejam elas técnicas, institucionais ou éticas – para a humanidade permanecer no comando da nossa criação, a IA poderá ajudar-nos a alcançar níveis sem precedentes de florescimento humano. Se falharmos, teremos criado ferramentas mais poderosas do que nós, sem meios adequados para as guiar.

A escolha, por enquanto, continua sendo nossa.