Por que o CEO da Character.AI ainda permite que seu filho de 6 anos use o aplicativo

Bem-vindo de volta ao No circuitoo novo boletim informativo duas vezes por semana da TIME sobre IA. Se você está lendo isso no seu navegador, por que não se inscrever para receber o próximo diretamente na sua caixa de entrada?

Inscrever-se em No circuito

Quem saber: Karandeep Anand, CEO da Character.AI

Character.AI está sob ataque. A plataforma chatbot, que permite aos usuários conversar com IAs que personificam personagens fictícios, é alvo de diversos processos — incluindo um de Megan Garcia, mãe cujo filho de 14 anos morreu por suicídio após ficar obcecado por um dos bots, o que supostamente o encorajou a acabar com a própria vida.

Na esteira desse processo e de outros, no mês passado a Character.AI fez um grande anúncio: proibiria usuários menores de 18 anos de terem “conversas abertas” com os chatbots em sua plataforma. Foi um grande pivô para uma empresa que afirma que as Gerações Z e Alfa constituem o núcleo dos seus mais de 6 milhões de usuários ativos diariamente, que passam em média 70 a 80 minutos por dia na plataforma.

Na semana passada, conversei com o novo CEO da Character.AI, Karandeep Anand, para discutir a proibição e o que levou a ela.

De acordo com Anand, o momento da proibição não tem nada a ver com os processos judiciais enfrentados pela Character.AI. O processo por homicídio culposo de Garcia, enfatizou ele, é anterior à sua gestão como CEO. E defendeu o histórico da plataforma na criação de grades de proteção para usuários menores de 18 anos.

A proibição de crianças usarem Character.AI, disse Anand, veio parcialmente como resultado de uma nova pesquisa que mostra os riscos do uso de chatbot, especialmente para crianças. “Um dos fatores que contribuem vem dos novos aprendizados de que o impacto longitudinal da interação do chatbot pode ser prejudicial ou não é totalmente compreendido”, disse-me ele, apontando para pesquisas da OpenAI e da Anthropic sobre os perigos da chamada bajulação da IA. À luz dessas descobertas, ele decidiu que permitir a presença de crianças na plataforma era muito arriscado.

Mas a proibição de crianças usarem Character.AI não é total. Eles ainda terão permissão para acessar outros recursos do Character.AI, como interagir com um feed curto de vídeos gerados por IA, semelhante à página For You do TikTok, que solicita aos usuários que personalizem vídeos populares adicionando seus próprios personagens ou modificando os prompts.

Fiquei surpreso, dado o contexto de nossa conversa, ouvir Anand dizer que sua filha de seis anos é uma usuária ávida de Character.AI. “O que ela costumava sonhar acordada agora está acontecendo através da narrativa do personagem que ela cria e com quem conversa”, diz Anand. “Mesmo em conversas onde ela me respondia com hesitação, ela fala com o chatbot muito mais abertamente.” (Usuários menores de 13 anos não são permitidos na plataforma, admite Anand, então ele só permite que sua filha acesse o Character.AI por meio de sua própria conta, com supervisão.) O entusiasmo de sua filha pelos recursos audiovisuais do Character.AI deu a Anand a confiança necessária para apostar a empresa na construção desse tipo de experiência gamificada para crianças, diz ele, em vez de permitir bate-papos de texto abertos.

O CEO está conformado com a perda de alguns usuários como resultado de sua decisão. “Estou disposto a apostar que criaremos experiências mais atraentes, mas se isso significa que alguns usuários abandonam o serviço, então alguns usuários abandonam”, diz ele. Mas ele não descarta completamente uma reversão da proibição do chatbot para menores de 18 anos. “Tenho certeza de que em algum momento, quando a tecnologia evoluir o suficiente e pudermos ter muito mais experiências de digitação preventivas, traremos essas experiências de volta.”

Ainda assim, o pivô colocou a Character.AI – por tanto tempo o garoto-propaganda do desenvolvimento irresponsável da IA ​​– na estranha posição de líder de torcida por experiências online mais seguras para as crianças. Anand diz que acolhe com satisfação um projeto de lei recente proposto pelo senador Josh Hawley que proibiria qualquer pessoa com menos de 18 anos de usar aplicativos complementares de IA em todo o país. “O que seria muito triste para a indústria é se tomarmos essas decisões (banir usuários menores de 18 anos) e então os usuários acabarem gravitando para outras plataformas que não assumem essa responsabilidade”, me disse Anand. “A fasquia para utilizadores com menos de 18 anos, do ponto de vista da segurança, tem de ser elevada… Isto tem de ser regulamentado.”