Musk nega ter conhecimento de imagens sexuais de menores de idade de Grok enquanto California AG lança investigação

Elon Musk disse quarta-feira ele “não tem conhecimento de nenhuma imagem de menor de idade nua gerada por Grok”, horas antes do procurador-geral da Califórnia abriu uma investigação no chatbot da xAI sobre a “proliferação de material sexualmente explícito não consensual”.

A negação de Musk ocorre no momento em que aumenta a pressão de governos em todo o mundo – do Reino Unido e da Europa à Malásia e à Indonésia – depois que usuários do X começaram a pedir a Grok para virar fotos de mulheres reaise, em alguns casos, crianças, em imagens sexualizadas sem o seu consentimento. Copyleaks, uma plataforma de detecção de IA e governança de conteúdo, estimou que aproximadamente uma imagem foi postada a cada minuto no X. Uma imagem separada amostra coletados de 5 a 6 de janeiro encontraram 6.700 por hora durante o período de 24 horas. (X e xAI fazem parte da mesma empresa.)

“Este material… tem sido usado para assediar pessoas na Internet”, disse o procurador-geral da Califórnia, Rob Bonta, em comunicado. “Exorto a xAI a tomar medidas imediatas para garantir que isso não vá mais longe.”

O escritório do AG investigará se e como o xAI violou a lei.

Existem várias leis para proteger alvos de imagens sexuais não consensuais e material de abuso sexual infantil (CSAM). No ano passado, o Take It Down Act foi transformado em lei federal, que criminaliza a distribuição consciente de imagens íntimas não consensuais – incluindo deepfakes – e exige que plataformas como X removam esse conteúdo dentro de 48 horas. A Califórnia também tem seu próprio série de leis que o governador Gavin Newsom assinou em 2024 para reprimir deepfakes sexualmente explícitos.

Grok começou a atender às solicitações dos usuários do X para produzir fotos sexualizadas de mulheres e crianças no final do ano. A tendência parece ter decolado depois que certos criadores de conteúdo adulto levaram Grok a gerar imagens sexualizadas de si mesmos como forma de marketing, o que levou outros usuários a emitirem avisos semelhantes. Em vários casos públicos, incluindo figuras conhecidas como a atriz de “Stranger Things”, Millie Bobby Brown, Grok respondeu a solicitações pedindo para alterar fotos reais de mulheres reais, mudando roupas, posicionamento corporal ou características físicas de maneiras abertamente sexuais.

De acordo com alguns relatóriosa xAI começou a implementar salvaguardas para resolver o problema. Grok agora requer uma assinatura premium antes de responder a certas solicitações de geração de imagens e, mesmo assim, a imagem pode não ser gerada. April Kozen, vice-presidente de marketing da Copyleaks, disse ao TechCrunch que Grok pode atender a uma solicitação de uma forma mais genérica ou moderada. Eles acrescentaram que Grok parece mais permissivo com criadores de conteúdo adulto.

“No geral, esses comportamentos sugerem que X está experimentando vários mecanismos para reduzir ou controlar a geração problemática de imagens, embora permaneçam inconsistências”, disse Kozen.

Nem xAI nem Musk abordaram publicamente o problema de frente. Poucos dias após o início dos casos, Musk pareceu minimizar o problema, pedindo a Grok que gerasse um imagem dele mesmo de biquíni. Em 3 de janeiro, Conta de segurança de X disse que a empresa toma “medidas contra conteúdo ilegal em X, incluindo (CSAM)”, sem abordar especificamente a aparente falta de salvaguardas de Grok ou a criação de imagens sexualizadas e manipuladas envolvendo mulheres.

O posicionamento reflete o que Musk postou hoje, enfatizando a ilegalidade e o comportamento dos usuários.

Musk escreveu que “não tinha conhecimento de nenhuma imagem nua de menores de idade gerada por Grok. Literalmente zero”. Essa afirmação não nega a existência de fotos de biquínis ou edições sexualizadas de forma mais ampla.

Michael Goodyear, professor associado da Faculdade de Direito de Nova York e ex-advogado, disse ao TechCrunch que Musk provavelmente se concentrou estritamente no CSAM porque as penalidades para a criação ou distribuição de imagens sexualizadas sintéticas de crianças são maiores.

“Por exemplo, nos Estados Unidos, o distribuidor ou distribuidor ameaçado de CSAM pode enfrentar até três anos de prisão ao abrigo da Lei Take It Down, em comparação com dois para imagens sexuais não consensuais de adultos”, disse Goodyear.

Ele acrescentou que o “ponto maior” é a tentativa de Musk de chamar a atenção para conteúdo problemático do usuário.

“Obviamente, Grok não gera imagens espontaneamente. Ele o faz apenas de acordo com a solicitação do usuário”, escreveu Musk em seu post. “Quando solicitado a gerar imagens, ele se recusará a produzir qualquer coisa ilegal, já que o princípio operacional do Grok é obedecer às leis de qualquer país ou estado. Pode haver momentos em que a invasão adversária dos avisos do Grok faça algo inesperado. Se isso acontecer, corrigimos o bug imediatamente.”

Em conjunto, a postagem caracteriza esses incidentes como incomuns, atribui-os a solicitações de usuários ou solicitações adversárias e os apresenta como problemas técnicos que podem ser resolvidos por meio de correções. Ele não chega a reconhecer quaisquer deficiências no projeto de segurança subjacente de Grok.

“Os reguladores podem considerar, com atenção às proteções à liberdade de expressão, exigir medidas proativas por parte dos desenvolvedores de IA para impedir tal conteúdo”, disse Goodyear.

O TechCrunch entrou em contato com a xAI para perguntar quantas vezes ele detectou casos de imagens sexualmente manipuladas não consensuais de mulheres e crianças, quais proteções mudaram especificamente e se a empresa notificou os reguladores sobre o assunto. O TechCrunch atualizará o artigo se a empresa responder.

A California AG não é o único regulador a tentar responsabilizar a xAI pelo problema. A Indonésia e a Malásia bloquearam temporariamente o acesso ao Grok; A Índia exigiu que X fizesse alterações técnicas e processuais imediatas em Grok; o Comissão Europeia ordenou xAI reterá todos os documentos relacionados ao seu chatbot Grok, um precursor para a abertura de uma nova investigação; e o órgão de vigilância de segurança online do Reino Unido Ofcom abriu uma investigação formal sob a Lei de Segurança Online do Reino Unido.

xAI já foi criticado pelas imagens sexualizadas de Grok antes. Como AG Bonta apontou em comunicado, Grok inclui um “modo picante” para gerar conteúdo explícito. Em outubro, uma atualização tornou ainda mais fácil desbloquear as poucas diretrizes de segurança que existiam, resultando em muitos usuários criando pornografia pesada com Grok, bem como imagens sexuais gráficas e violentas.

Muitas das imagens mais pornográficas que Grok produziu foram de pessoas geradas por IA – algo que muitos ainda podem achar eticamente duvidoso, mas talvez menos prejudicial para os indivíduos nas imagens e vídeos.

“Quando os sistemas de IA permitem a manipulação de imagens de pessoas reais sem consentimento claro, o impacto pode ser imediato e profundamente pessoal”, disse o cofundador e CEO da Copyleaks, Alon Yamin, em um comunicado enviado por e-mail ao TechCrunch. “De Sora a Grok, estamos vendo um rápido aumento nas capacidades de IA para mídia manipulada. Para esse fim, a detecção e a governança são necessárias agora mais do que nunca para ajudar a prevenir o uso indevido.”