Senadores dos EUA exigem respostas de X, Meta, Alphabet sobre deepfakes sexualizados

O problema do deepfake sexualizado e não consensual do mundo da tecnologia agora é maior do que apenas X.

Em um carta Aos líderes do X, Meta, Alphabet, Snap, Reddit e TikTok, vários senadores dos EUA estão pedindo às empresas que forneçam provas de que possuem “proteções e políticas robustas” em vigor e que expliquem como planejam conter o aumento de deepfakes sexualizados em suas plataformas.

Os senadores também exigiram que as empresas preservem todos os documentos e informações relativos à criação, detecção, moderação e monetização de imagens sexualizadas geradas por IA, bem como quaisquer políticas relacionadas.

A carta chega horas depois de X ter dito isso Grok atualizado proibi-lo de fazer edições de pessoas reais em roupas reveladoras e restringir a criação e edição de imagens via Grok para assinantes pagantes. (X e xAI fazem parte da mesma empresa.)

Apontando para reportagens da mídia sobre como facilmente e muitas vezes Grok gerou imagens sexualizadas e nuas de mulheres e crianças, os senadores apontaram que as proteções das plataformas para impedir que os usuários postem imagens sexualizadas e não consensuais podem não ser suficientes.

“Reconhecemos que muitas empresas mantêm políticas contra imagens íntimas não consensuais e exploração sexual, e que muitos sistemas de IA afirmam bloquear a pornografia explícita. Na prática, porém, como visto nos exemplos acima, os utilizadores estão a encontrar formas de contornar estas barreiras de proteção. Ou estas barreiras de proteção estão a falhar”, diz a carta.

Grok e, consequentemente, X, foram fortemente criticados por permitirem esta tendência, mas outras plataformas não estão imunes.

Deepfakes ganhou popularidade pela primeira vez no Reddit, quando uma página exibindo vídeos pornôs sintéticos de celebridades se tornou viral antes de a plataforma ser derrubada em 2018. Deepfakes sexualizados direcionados a celebridades e políticos multiplicado no TikTok e no YouTubeembora geralmente tenham origem em outro lugar.

O Conselho de Supervisão da Meta no ano passado convocou dois casos de imagens explícitas de IA de figuras públicas femininas, e a plataforma também permitiu que aplicativos de nudificação vendessem anúncios em seus serviços, embora tenha feito processar uma empresa chamada CrushAI mais tarde. Houve vários relatos de crianças espalhando deepfakes de colegas no Snapchat. E o Telegram, que não consta na lista de senadores, também ganhou notoriedade por hospedagem de bots criados para tirar fotos das mulheres.

Em resposta à carta, X apontou para a sua anúncio em relação à sua atualização para Grok. Alphabet, Reddit, Snap, TikTok e Meta não responderam imediatamente aos pedidos de comentários.

A carta exige que as empresas forneçam:

• Definições políticas de conteúdo “deepfake”, “imagens íntimas não consensuais” ou termos semelhantes.
• Descrições das políticas das empresas e abordagem de aplicação para deepfakes não consensuais de corpos de pessoas, fotos sem nudez, roupas alteradas e “despir virtual”.
• Descrições das políticas de conteúdo atuais que abordam mídia editada e conteúdo explícito, bem como orientações internas fornecidas aos moderadores.
• Como as políticas atuais regem as ferramentas de IA e os geradores de imagens no que se refere a conteúdo sugestivo ou íntimo.
• Quais filtros, proteções ou medidas foram implementadas para evitar a geração e distribuição de deepfakes.
• Quais mecanismos as empresas usam para identificar conteúdo deepfake e evitar que sejam reenviados.
• Como eles impedem que os usuários lucrem com esse conteúdo.
• Como as plataformas evitam monetizar conteúdo não consensual gerado por IA.
• Como os termos de serviço das empresas permitem banir ou suspender usuários que postam deepfakes.
• O que as empresas fazem para notificar as vítimas de deepfakes sexuais não consensuais.

A carta é assinada pelos senadores Lisa Blunt Rochester (D-Del.), Tammy Baldwin (D-Wis.), Richard Blumenthal (D-Conn.), Kirsten Gillibrand (DN.Y.), Mark Kelly (D-Ariz.), Ben Ray Luján (DN.M.), Brian Schatz (D-Havaí) e Adam Schiff (D-Calif.).

A mudança ocorre apenas um dia depois que o proprietário do xAI, Elon Musk, disse que “não tinha conhecimento de nenhuma imagem nua de menores de idade gerada por Grok”. Mais tarde na quarta-feira, o procurador-geral da Califórnia abriu uma investigação no chatbot da xAI, após a crescente pressão de governos de todo o mundo, indignados com a falta de grades de proteção em torno de Grok que permitiram que isso acontecesse.

xAI tem mantido que toma medidas para remover “conteúdo ilegal no X, incluindo (CSAM) e nudez não consensual”, embora nem a empresa nem Musk tenham abordado o fato de que Grok foi autorizado a gerar tais edições em primeiro lugar.

O problema também não se restringe a imagens sexualizadas manipuladas e não consensuais. Embora nem todos os serviços de geração e edição de imagens baseados em IA permitam que os usuários “despirem” as pessoas, eles permitem gerar facilmente deepfakes. Para escolher alguns exemplos, Sora 2 da OpenAI supostamente permitiu que os usuários gerassem vídeos explícitos apresentando crianças; Aparentemente Nano Banana do Google gerado uma imagem mostrando Charlie Kirk sendo baleado; e vídeos racistas feitos com o modelo de vídeo de IA do Google estão obtendo milhões de visualizações nas redes sociais.

A questão fica ainda mais complexa quando os geradores chineses de imagens e vídeos entram em cena. Muitas empresas e aplicativos de tecnologia chineses – especialmente aqueles vinculados à ByteDance – oferecem maneiras fáceis de editar rostos, vozes e vídeos, e esses resultados se espalharam pelas plataformas sociais ocidentais. A China tem requisitos mais rigorosos de rotulagem de conteúdos sintéticos que não existem nos EUA a nível federal, onde as massas dependem, em vez disso, de políticas fragmentadas e aplicadas de forma duvidosa pelas próprias plataformas.

Os legisladores dos EUA já aprovaram algumas leis que procuram controlar a pornografia deepfake, mas o impacto tem sido limitado. A Lei Take It Down, que se tornou lei federal em maio, tem como objetivo criminalizar a criação e disseminação de imagens sexualizadas e não consensuais. Mas uma série de disposições da lei dificultam a responsabilização das plataformas de geração de imagens, uma vez que concentram a maior parte do escrutínio nos utilizadores individuais.

Entretanto, vários estados estão a tentar resolver o problema com as próprias mãos para proteger os consumidores e as eleições. Essa semana, A governadora de Nova York, Kathy Hochul, propôs leis isso exigiria que o conteúdo gerado por IA fosse rotulado como tal e proibisse deepfakes não consensuais em períodos específicos que antecedem as eleições, incluindo representações de candidatos da oposição.