Yoshua Bengio: Não estamos preparados para os riscos da IA

Em 2025, vimos grandes avanços nas capacidades dos sistemas de IA com o lançamento de modelos de raciocínio e também com investimentos massivos no desenvolvimento de modelos de agência.

A IA já está a trazer enormes benefícios, ajudando-nos ativamente a enfrentar alguns dos desafios mais urgentes do mundo, permitindo inclusive progressos significativos nos setores da saúde e do clima. Na saúde, a IA está sendo usada principalmente para ajudar a desenvolver novos medicamentos e personalizar tratamentos. Os investigadores climáticos também estão a aproveitar a IA para melhorar a modelação meteorológica e otimizar os sistemas de energia renovável. Crucialmente, tem potencial para alcançar ainda mais se for gerido com sabedoria, impulsionando novos avanços e acelerando avanços futuros em muitos campos da ciência e da tecnologia.

A natureza transformadora da IA ​​é também a razão pela qual devemos considerar os seus riscos. Estamos a constatar que o rápido progresso desta tecnologia também traz um aumento nos efeitos adversos não intencionais e nos riscos potenciais, que poderão ser muito maiores se as capacidades de IA continuarem a avançar ao ritmo atual. Por exemplo, vários modelo desenvolvedores relataram durante o verão que os sistemas de IA de fronteira ultrapassaram novos limites relativos aos riscos biológicos. Isto é em grande parte atribuível a avanços significativos no raciocínio desde finais de 2024. Uma preocupação fundamental é que, sem salvaguardas adequadas, estes modelos possuem a capacidade de permitir que aqueles sem conhecimentos biológicos empreendam o desenvolvimento de armas biológicas potencialmente perigosas.

A aceleração das mesmas capacidades de raciocínio também aumenta as ameaças em outras áreas, como segurança cibernética. A crescente capacidade da IA ​​para identificar vulnerabilidades aumenta significativamente o potencial para ataques cibernéticos em grande escala, como vimos no incidente recente envolvendo um grande ataque interceptado pela Anthropic e pela Análise da Universidade da Califórnia em Berkeley mostrando IAs avançadas descobrindo, pela primeira vez, um grande número de “dias zero” ou vulnerabilidades de software anteriormente desconhecidas que poderiam ser exploradas em ataques cibernéticos. Mesmo sem utilização indevida intencional por parte de maus intervenientes, avaliações e estudos destacam casos de comportamentos enganosos e de autopreservação emergentes em modelos avançados, sugerindo que a IA pode estar a desenvolver estratégias que entram em conflito com a intenção ou supervisão humana. Muitos especialistas líderes avisado que as IAs poderiam se tornar desonestas e escapar do controle humano.

As capacidades cada vez mais impactantes e o desalinhamento destes modelos também tiveram repercussões sociais preocupantes, nomeadamente devido à bajulação dos modelos, o que pode levar os utilizadores a formar fortes ligações emocionais. Vimos, por exemplo, uma forte reacção pública negativa quando a OpenAI mudou do seu modelo GPT-4o para GPT-5, e muitos utilizadores sentido eles perderam um “amigo” porque o novo modelo era menos caloroso e agradável. Em casos extremos, estes apegos podem representar um perigo para a saúde mental dos utilizadores, como vimos nos casos trágicos de pessoas vulneráveis ​​que feriram a si próprias ou a outras pessoas após sofrerem de um tipo de “psicose induzida pela IA”.

Perante a escala e a complexidade destes modelos, cujas capacidades têm sido crescendo exponencialmenteprecisamos de soluções políticas e técnicas para tornar a IA segura e proteger o público. Os cidadãos devem manter-se informados e envolvidos nas leis e políticas aprovadas nos seus governos locais ou nacionais. As escolhas feitas para o futuro da IA ​​deveriam exigir absolutamente a adesão pública e a acção colectiva, porque poderiam afectar-nos a todos, com consequências potencialmente extremas.