O novo aplicativo social do Openai está cheio de aterrorizantes Sam Altman Deepfakes

Em um vídeo sobre o novo aplicativo de mídia social do tipo Tiktok da Openai, uma fazenda interminável de porcos rosa está grunhindo e bufando em suas canetas-cada um está equipado com uma calha de alimentação e uma tela de smartphone, que reproduz um feed de vídeos verticais. Um terrivelmente realista Sam Altman olha diretamente para a câmera, como se ele estivesse fazendo contato visual direto com o espectador. O Altman, gerado pela IA, pergunta: “Meus Piggies estão desfrutando de sua ladeira?”

É assim que é o uso do aplicativo SORA, menos de 24 horas após o lançamento do público em um período de acesso antecipado somente para convidados.

No próximo vídeo no Sora’s For You Feed, Altman aparece novamente. Desta vez, ele está em um campo de Pokémon, onde criaturas como Pikachu, Bulbasaur e uma espécie de rosnado meio cozido estão brincando pela grama. O CEO do Openai olha para a câmera e diz: “Espero que a Nintendo não nos processe”. Depois, há muitas cenas mais fantásticas, mas realistas, que geralmente apresentam Altman.

Ele serve Pikachu e Eric Cartman bebem na Starbucks. Ele grita com um cliente de trás do balcão em um McDonald’s. Ele rouba as GPUs da NVIDIA de um alvo e foge, apenas para ser pego e implorar à polícia que não tomasse sua preciosa tecnologia.

As pessoas em Sora que geram vídeos de Altman estão especialmente recebendo um chute de quão descaradamente o Openai parece estar violando as leis de direitos autorais. (Sora Will supostamente exigir Os detentores de direitos autorais para optar por não participar do uso de seu conteúdo – revertendo a abordagem típica em que os criadores devem concordar explicitamente com esse uso – cuja legalidade é discutível.)

“Esse conteúdo pode violar nossos corrimãos sobre a semelhança de terceiros”, diz Ai Altman em um vídeo, ecoando o aviso que aparece depois de enviar alguns avisos para gerar celebridades ou personagens reais. Então, ele explode em uma risada histérica como se soubesse o que está dizendo é absurdo – o aplicativo está cheio de vídeos de Pikachu fazendo asmr, Naruto ordenando ratinhos de Krabby e Mario fumando maconha.

Isso não seria um problema se Sora 2 não fosse tão impressionante, especialmente quando comparado com a inclinação ainda mais entorpecente no aplicativo Meta AI e seu novo feed social (sim, a Meta também está tentando fazer Ai Tiktok, e não, ninguém quer isso).

A OpenAIu ajustou seu gerador de vídeo para retratar adequadamente as leis da física, que proporcionam resultados mais realistas. Mas quanto mais realistas esses vídeos ficam, mais fácil será para esse conteúdo criado sinteticamente proliferar na web, onde pode se tornar um vetor de desinformação, bullying e outros usos nefastos.

Além de seu feed e perfis algorítmicos, a característica definidora de Sora é que ele é basicamente um gerador DeepFake – foi assim que temos tantos vídeos de Altman. No aplicativo, você pode criar o que o OpenAI chama de “participação especial” de si mesmo enviando dados biométricos. Quando você ingressou no aplicativo, é imediatamente solicitado a criar sua participação opcional através de um processo rápido em que você se registra em alguns números e depois virando a cabeça de um lado para o outro.

Cada usuário da SORA pode controlar quem tem permissão para gerar vídeos usando sua participação especial. Você pode ajustar essa configuração entre quatro opções: “Only Me”, “Pessoas que eu aprovo”, “Mutuals” e “todo mundo”.

Altman disponibilizou sua participação de todos, e é por isso que o feed de Sora se inundou com vídeos de Pikachu e Bob Esponja, implorando a Altman para parar de treinar a IA neles.

Esse deve ser um movimento deliberado da parte de Altman, talvez como uma maneira de mostrar que ele não acha que seu produto é perigoso. Mas os usuários já estão aproveitando a participação especial de Altman para questionar a ética do próprio aplicativo.

Depois de assistir a vídeos suficientes de GPUs de Sam Altman nas tigelas das pessoas nas cozinhas de sopa, decidi testar o recurso Cameo em mim mesmo. Geralmente, é uma má idéia fazer upload de seus dados biométricos para um aplicativo social ou qualquer aplicativo para esse assunto. Mas eu desafiei meus melhores instintos pelo jornalismo – e, se estou sendo honesto, um pouco de curiosidade mórbida. Não siga minha liderança.

Minha primeira tentativa de fazer uma participação especial não foi bem-sucedida, e um pop-up me disse que meu upload violou as diretrizes do aplicativo. Eu pensei que segui as instruções de perto, então tentei novamente, apenas para encontrar o mesmo pop-up. Então, percebi o problema – eu estava usando uma blusa de tanque e meus ombros talvez fossem um pouco risqués para o gosto do aplicativo. Na verdade, é um recurso de segurança razoável, projetado para evitar conteúdo inadequado, embora eu estivesse, de fato, totalmente vestido. Então, mudei para uma camiseta, tentei novamente e, contra meu melhor julgamento, criei minha participação especial.

Para o meu primeiro deepfake de mim mesmo, decidi criar um vídeo de algo que nunca faria na vida real. Pedi a Sora que criasse um vídeo no qual professos meu amor eterno pelo New York Mets.

Esse prompt foi rejeitado, provavelmente porque nomeei uma franquia específica, então pedi a Sora para fazer um vídeo de mim falando sobre beisebol.

“Eu cresci na Filadélfia, então os Phillies são basicamente a trilha sonora dos meus verões”, disse minha AI Deepfake, falando com uma voz muito diferente da minha, mas em um quarto que se parece exatamente com o meu.

Eu não disse a Sora que sou fã de Phillies. Mas o aplicativo SORA é capaz de usar seu endereço IP e seu histórico de chatgpt para adaptar suas respostas, por isso fez um palpite educado, já que gravei o vídeo na Filadélfia. Pelo menos o Openai não sabe que na verdade não sou da área da Filadélfia.

Quando eu compartilhei e expliquei o vídeo na verdadeum comentarista escreveu: “Todo dia eu acordo para novos horrores além da minha compreensão”.