Califórnia se torna o primeiro estado a regulamentar chatbots complementares de IA
Governador da Califórnia, Gavin Newsom assinado um projeto de lei histórico na segunda-feira que regulamenta os chatbots complementares de IA, tornando-o o primeiro estado do país a exigir que os operadores de chatbots de IA implementem protocolos de segurança para acompanhantes de IA.
A lei, SB 243, foi projetada para proteger crianças e usuários vulneráveis de alguns dos danos associados ao uso do chatbot complementar de IA. Ele responsabiliza empresas – desde grandes laboratórios como Meta e OpenAI até startups parceiras mais focadas, como Character AI e Replika – legalmente responsáveis se seus chatbots não atenderem aos padrões da lei.
O SB 243 foi apresentado em janeiro pelos senadores estaduais Steve Padilla e Josh Becker e ganhou impulso após a morte do adolescente Adam Raine, que morreu por suicídio após conversas com ChatGPT da OpenAI que envolveram discussão e planejamento de sua morte e automutilação. A legislação também responde a documentos internos vazados que supostamente mostravam que os chatbots da Meta eram autorizados a participar de bate-papos “românticos” e “sensuais” com crianças. Mais recentemente, uma família do Colorado entrou com uma ação contra a startup de RPG Character AI depois que sua filha de 13 anos tirou a própria vida após uma série de conversas problemáticas e sexualizadas com os chatbots da empresa.
“As tecnologias emergentes, como os chatbots e as redes sociais, podem inspirar, educar e conectar – mas sem barreiras de proteção reais, a tecnologia também pode explorar, enganar e pôr em perigo os nossos filhos”, disse Newsom num comunicado. “Vimos alguns exemplos verdadeiramente horríveis e trágicos de jovens prejudicados pela tecnologia não regulamentada e não ficaremos parados enquanto as empresas continuam sem os limites e a responsabilização necessários. Podemos continuar a liderar em IA e tecnologia, mas devemos fazê-lo com responsabilidade – protegendo os nossos filhos em cada passo do caminho. A segurança dos nossos filhos não está à venda.”
O SB 243 entrará em vigor em 1º de janeiro de 2026 e exige que as empresas implementem certos recursos, como verificação de idade, avisos sobre mídias sociais e chatbots complementares e penalidades mais fortes – até US$ 250.000 por ação – para aqueles que lucram com deepfakes ilegais. As empresas também devem estabelecer protocolos para abordar o suicídio e a automutilação, e partilhar esses protocolos, juntamente com estatísticas sobre a frequência com que forneceram aos utilizadores notificações de prevenção de centros de crise, ao Departamento de Saúde Pública.
De acordo com a linguagem do projeto de lei, as plataformas também devem deixar claro que quaisquer interações são geradas artificialmente e os chatbots não devem se apresentar como profissionais de saúde. As empresas são obrigadas a oferecer lembretes de intervalo aos menores e impedi-los de ver imagens sexualmente explícitas geradas pelo chatbot.
Algumas empresas já começaram a implementar algumas salvaguardas destinadas às crianças. Por exemplo, a OpenAI começou recentemente a implementar controles parentais, proteções de conteúdo e um sistema de detecção de automutilação para crianças que usam ChatGPT. Character AI disse que seu chatbot inclui uma isenção de responsabilidade de que todos os chats são gerados por IA e ficcionalizados.
Evento Techcrunch
São Francisco
|
27 a 29 de outubro de 2025
A assinatura desta lei por Newsom ocorre depois que o governador também aprovou o SB 53, outro projeto de lei pioneiro no país que estabelece novos requisitos de transparência para grandes empresas de IA. O projeto de lei exige que grandes laboratórios de IA, como OpenAI, Anthropic, Meta e Google DeepMind, sejam transparentes sobre os protocolos de segurança. Também garante proteção aos denunciantes para os funcionários dessas empresas.
Outros estados, como Illinois, Nevada e Utah, aprovaram leis para restringir ou proibir totalmente o uso de chatbots de IA como substitutos de cuidados de saúde mental licenciados.
O TechCrunch entrou em contato com Character AI, Meta, OpenAI e Replika para comentar.
Share this content:
Publicar comentário