A política anti-Woke AI de Trump coloca a vida dos pacientes em risco

Em 23 de julho, o presidente Donald Trump assinou um amplo acordo ordem executiva intitulado “Preventing Woke AI in the Federal Government Act”. É mais uma saraivada na guerra cultural política em curso e uma tentativa deliberada de apagar termos como diversidade, equidade, inclusão (DEI) e reverter o trabalho daqueles que abordam o racismo sistémico nos sistemas federais de inteligência artificial.

Mas para nós, como eu, que trabalhamos na medicina, especialmente aqueles que defendem a igualdade na saúde, isto não é apenas uma postura política. Esta ordem ameaça vidas. Isso põe em risco anos de trabalho para identificar e corrigir preconceitos estruturais que há muito prejudicam as comunidades marginalizadas, especialmente os negros americanos.

A IA está transformando a saúde. Já está sendo usado para fazer a triagem de pacientes de pronto-socorro, priorizar cuidados de acompanhamento e prever o risco de doenças. Mas esses algoritmos não surgem de terreno neutro. Eles são treinados em dados do mundo real. Dados que são tudo menos imparciais.

Protegendo a precisão médica

Um dos exemplos mais marcantes ocorreu em 2019 estudar publicado em Ciência escrito por pesquisadores da UC Berkeley e da Universidade de Chicago. Eles examinaram um algoritmo comercial de saúde amplamente utilizado, projetado para sinalizar pacientes para gerenciamento de cuidados de alto risco. Superficialmente, parecia objetivo e baseado em dados. Mas os pesquisadores descobriram que o algoritmo não avaliava de forma alguma a necessidade clínica. Em vez disso, utilizou discretamente um proxy: a quantidade de dinheiro gasto anteriormente no tratamento de um paciente.

Como os pacientes negros normalmente recebem menos cuidados, mesmo quando apresentam os mesmos sintomas, esse proxy de gastos levou o algoritmo a subestimar drasticamente suas necessidades. Embora quase 46,5% dos pacientes negros devessem ter sido sinalizados para cuidados adicionais, o algoritmo identificou apenas 17,7%. Isso não é uma nota de rodapé estatística. Esse é um sistema que foi ensinado a olhar para o outro lado
Este não é um caso isolado. Considere dois outros algoritmos ajustados por raça ainda usados ​​hoje:

A função renal, que é calculada usando equações da Taxa de Filtração Glomerular (TFG), há muito inclui um “fator de correção” para pacientes negros, com base em suposições não científicas sobre a massa muscular. Os investigadores descobriram repetidamente que este ajuste inflou as pontuações renais, o que significa que muitos pacientes negros foram considerados inelegíveis para transplantes ou atrasaram a recepção de cuidados especializados.

E os testes de função pulmonar (TFP), utilizados para diagnosticar asma e doenças pulmonares, aplicam frequentemente uma correcção baseada na raça que assume que os negros têm naturalmente menor capacidade pulmonar, diminuindo os limiares de detecção e contribuindo para o subdiagnóstico.

Estes não são apenas artefatos históricos. São exemplos de como o racismo pode ser incorporado ao código. Silenciosamente, de forma generalizada e letal.

Nos últimos anos, médicos e pesquisadores como eu recuaram. Muitos hospitais estão removendo as correções baseadas na raça das equações médicas. Ferramentas de IA centradas na equidade estão sendo desenvolvidas para detectar e mitigar disparidades, e não para ignorá-las. Este trabalho não é sobre estar “acordado”. Trata-se de ser preciso, melhorar resultados e salvar vidas.

O perigo da guerra cultural anti-despertar de Trump

A ordem executiva de Trump ameaça encerrar o importante trabalho que tem sido feito para tornar os algoritmos médicos mais precisos.

Ao proibir as agências federais de considerarem o racismo sistémico ou a equidade no desenvolvimento da IA, a ordem proíbe efectivamente os próprios esforços necessários para resolver estes problemas. Silencia os cientistas de dados que tentam construir e promover um sistema mais justo. Diz-nos que nomear a desigualdade é pior do que perpetuá-la.

Os defensores da ordem afirmam que ela promove a “neutralidade”. Mas a neutralidade, num sistema baseado na desigualdade, não é justiça. É um reforço dos próprios preconceitos que pretende ignorar.

O perigo não é hipotético. Pacientes negros já têm menos probabilidade de serem oferecidos medicação para doré mais provável que seja mal diagnosticadoe é mais provável que morrer de condições evitáveis. A IA projetada eticamente poderia ajudar a revelar essas disparidades mais cedo. Mas só se tivermos permissão para construí-lo dessa maneira.