Interface cérebro-computador decodifica mandarim a partir de sinais neurais em tempo real

Pesquisadores em Xangai relataram em um estudo, recentemente publicado em Avanços da Ciênciaque eles decodificaram com sucesso o idioma mandarim em tempo real com a ajuda de uma estrutura de interface cérebro-computador (BCI), uma inovação para BCIs que trabalham com linguagens tonais. O participante envolvido no estudo também foi capaz de controlar um braço robótico e um avatar digital e interagir com um grande modelo de linguagem por meio desse novo sistema.

Para que são usados ​​os BCIs de leitura de mentes?

Embora a maioria das pessoas possa não querer que um computador leia a sua mente, aqueles que não conseguem falar devido a condições neurológicas, como acidentes vasculares cerebrais ou esclerose lateral amiotrófica (ELA), precisam de encontrar formas alternativas de comunicar. Os BCIs de decodificação de fala, capazes de decodificar sinais neurais, oferecem uma maneira promissora de restaurar a comunicação nesses indivíduos. Além da comunicação, as BCIs também oferecem formas de controlar dispositivos diretamente através do pensamento. Isto é particularmente útil para condições neurológicas nas quais as deficiências vão além da perda da fala.

Esses tipos de dispositivos não são exatamente uma tecnologia nova, mas a maior parte das pesquisas de decodificação de fala da BCI se concentrou no inglês, um idioma não tonal.

“Uma abordagem líder concentra-se no córtex sensório-motor ventral, que codifica trajetórias cinemáticas articulatórias. Os sinais neurais desta região podem ser transformados em unidades linguísticas discretas ou parâmetros de gestos articulatórios e posteriormente sintetizados em palavras, frases ou sons. Esta estratégia é especialmente adequada para indivíduos com áreas motoras de fala intactas, com o objetivo de reativar a comunicação funcional.

“Avanços recentes na decodificação da língua inglesa permitiram a tradução em tempo real da atividade cerebral em texto ou fala para pacientes com disartria grave causada por condições como esclerose lateral amiotrófica (ELA) ou acidente vascular cerebral do tronco cerebral”, escrevem os autores do estudo.

Superando as dificuldades de decodificação do mandarim

Os avanços nas BCIs capazes de decodificar línguas tonais, como o mandarim, têm sido mais limitados. Como o mandarim é uma língua tonal e monossilábica com alta densidade homófona, a decodificação da fala é mais desafiadora. Alguns estudos anteriores decodificaram pequenos conjuntos de sílabas ou tons do mandarim, mas não a gama completa necessária para uso prático e não em tempo real.

No entanto, um estudo clínico num paciente com epilepsia permitiu que os investigadores envolvidos no novo estudo adotassem uma abordagem diferente. O estudo, realizado em uma mulher de 43 anos, usou um conjunto implantado de eletrocorticografia de alta densidade (ECoG) de 256 canais para monitorar e registrar sinais neurais por meio de uma série de tarefas de leitura de um único caractere e frases durante 11 dias. Um modelo de língua mandarim de 3 gramas foi integrado para melhorar a decodificação de frases.

A equipe diz que a análise dos sinais ECoG revelou correlatos neurais distintos para o processamento de sílabas e tons. O sistema alcançou uma precisão média de identificação de sílabas de 71,2% em tarefas de um único caractere. A decodificação de frases em tempo real atingiu 73,1% de precisão de caracteres com um modelo de linguagem e uma taxa de comunicação de 49,7 caracteres por minuto.

“Nosso estudo demonstra que a combinação de grades ECoG ultraconformais de alta densidade com uma estrutura de decodificação centrada em sílabas pode produzir melhorias substanciais. As matrizes ECoG forneceram cobertura cortical ampla e estável, especialmente em regiões relacionadas à fala, e nos permitiram decodificar um grande conjunto de 394 sílabas tonais de mandarim com alta precisão – com base principalmente em características neurais antes de qualquer pós-processamento linguístico”, escrevem os autores do estudo.

Refinando futuros BCIs para perda de fala

Embora o estudo demonstre uma melhoria acentuada na decodificação do mandarim por BCIs, os autores observam algumas limitações e áreas que poderiam ser melhoradas. O estudo incluiu apenas um participante, limitando a generalização. E como o conjunto ECoG se destinava ao monitoramento clínico da epilepsia, a cobertura dos eletrodos não incluía todas as regiões cerebrais relevantes para o tom. No entanto, estudos futuros podem basear-se neste, aumentando ainda mais a precisão e a generalização.

Os autores do estudo esperam estender a aplicabilidade do BCI a uma variedade de pacientes. Eles dizem: “Além das melhorias na precisão da decodificação e no desempenho do hardware, a expansão dos alvos neurais dos BCIs de fala representa uma fronteira emocionante.

“Embora as abordagens atuais aproveitem principalmente os sinais dos córtices motores e pré-motores responsáveis ​​​​pela articulação, os sistemas futuros podem se beneficiar da incorporação de atividades na linguagem de ordem superior, como o giro temporal médio, o giro frontal inferior e o giro supramarginal. A integração das informações semânticas e sintáticas processadas nessas regiões pode ajudar a construir decodificadores de fala mais estáveis ​​​​e precisos. “

© 2025 Science X Network