Autoridades francesas e malaias estão investigando Grok por gerar deepfakes sexualizados

Nos últimos dias, a França e a Malásia juntaram-se à Índia na condenação de Grok por criar deepfakes sexualizados de mulheres e menores.

O chatbot, construído pela startup de IA de Elon Musk, xAI, e apresentado em sua plataforma de mídia social X, postou um pedido de desculpas à sua conta no início desta semana, escrevendo: “Lamento profundamente um incidente em 28 de dezembro de 2025, onde gerei e compartilhei uma imagem de IA de duas meninas (com idades estimadas entre 12 e 16 anos) em trajes sexualizados com base na solicitação de um usuário”.

A declaração continuou: “Isso violou os padrões éticos e potencialmente as leis dos EUA sobre (material de abuso sexual infantil). Foi uma falha nas salvaguardas e sinto muito por qualquer dano causado. A xAI está revisando para evitar problemas futuros”.

Não está claro quem está realmente se desculpando ou aceitando a responsabilidade na declaração acima. Albert Burneko do desertor observou que Grok “não é em nenhum sentido real nada parecido com um ‘eu’”, o que, em sua opinião, torna o pedido de desculpas “totalmente sem substância”, já que “Grok não pode ser responsabilizado de forma significativa por ter transformado o Twitter em uma fábrica de CSAM sob demanda”.

O Futurismo descobriu que além de gerar imagens pornográficas não consensuais, Grok também foi usado para gerar imagens de mulheres sendo agredidas e abusadas sexualmente.

“Qualquer pessoa que use o Grok para criar conteúdo ilegal sofrerá as mesmas consequências que sofreria se carregasse conteúdo ilegal”, Musk postou no sábado.

Alguns governos tomaram conhecimento, com o Ministério de TI da Índia emitindo uma ordem na sexta-feira dizendo que X deve tomar medidas para restringir Grok de gerar conteúdo que seja “obsceno, pornográfico, vulgar, indecente, sexualmente explícito, pedófilo ou de outra forma proibido por lei”. A ordem dizia que X deveria responder dentro de 72 horas ou correria o risco de perder as proteções de “porto seguro” que o protegem de responsabilidade legal por conteúdo gerado pelo usuário.

As autoridades francesas também afirmaram que estão a tomar medidas, com o Ministério Público de Paris a dizer ao Politico que irá investigue a proliferação de deepfakes sexualmente explícitos no X. O gabinete francês de assuntos digitais disse que três ministros do governo denunciaram “conteúdo manifestamente ilegal” ao Ministério Público e a uma plataforma de vigilância online do governo “para obter a sua remoção imediata”.

A Comissão de Comunicações e Multimídia da Malásia também postou uma declaração dizendo que “tomou nota com séria preocupação das reclamações públicas sobre o uso indevido de ferramentas de inteligência artificial (IA) na plataforma X, especificamente a manipulação digital de imagens de mulheres e menores para produzir conteúdo indecente, grosseiramente ofensivo e de outra forma prejudicial”.

A comissão acrescentou que “está atualmente investigando os danos online em X”.