A IA sobrecarrega a produção científica enquanto a qualidade cai

Um novo estudo da Cornell sugere que esses relatórios informais apontam para uma mudança mais ampla na forma como os cientistas preparam os manuscritos. Os pesquisadores descobriram que grandes modelos de linguagem (LLMs), como o ChatGPT, podem aumentar a produção de artigos, com benefícios especialmente fortes para cientistas que não são falantes nativos de inglês. Mas o volume crescente de texto escrito por IA também está tornando mais difícil para os principais tomadores de decisão distinguir entre trabalho significativo e conteúdo de baixo valor.

“É um padrão muito difundido em diferentes campos da ciência – desde ciências físicas e da computação até ciências biológicas e sociais”, disse Yian Yin, professor assistente de ciência da informação na Faculdade de Computação e Ciência da Informação Cornell Ann S. Bowers. “Há uma grande mudança no nosso ecossistema atual que merece uma análise muito séria, especialmente para aqueles que tomam decisões sobre que ciência devemos apoiar e financiar.”

As descobertas aparecem em um artigo intitulado “Produção Científica na Era dos Grandes Modelos de Linguagem”, publicado em 18 de dezembro em Ciência.

Como a equipe da Cornell mediu o uso de IA em artigos de pesquisa

Para examinar como os LLMs estão influenciando a publicação científica, a equipe de Yin compilou mais de 2 milhões de artigos publicados de janeiro de 2018 a junho de 2024 em três principais plataformas de pré-impressão. Esses sites são arXiv, bioRxiv e Social Science Research Network (SSRN). Juntos, representam as ciências físicas, as ciências da vida e as ciências sociais, e acolhem estudos que ainda não passaram pela revisão por pares.

Os pesquisadores usaram artigos publicados antes de 2023 que se presumiam terem sido escritos por humanos e os compararam com texto gerado por IA. A partir dessa comparação, eles construíram um modelo projetado para sinalizar artigos que provavelmente foram escritos com a ajuda de LLMs. Usando esse detector, eles estimaram quais autores provavelmente estavam usando LLMs para escrever, rastrearam quantos artigos esses cientistas publicaram antes e depois de adotar as ferramentas e, em seguida, verificaram se os artigos foram posteriormente aceitos por revistas científicas.

Grandes ganhos de produtividade, especialmente para falantes não nativos de inglês

Os resultados mostraram um claro salto de produtividade ligado ao uso aparente do LLM. No arXiv, os cientistas sinalizados como usando LLMs publicaram cerca de um terço a mais de artigos do que aqueles que não pareciam usar IA. No bioRxiv e SSRN, o aumento ultrapassou 50%.

O impulso foi maior para os cientistas que escrevem em inglês como segunda língua e enfrentam obstáculos adicionais ao comunicar trabalhos técnicos numa língua estrangeira. Por exemplo, investigadores afiliados a instituições asiáticas publicaram entre 43,0% e 89,3% mais artigos depois de o detector ter sugerido que começassem a utilizar LLMs, em comparação com investigadores semelhantes que não pareciam adoptar a tecnologia, dependendo do site de pré-impressão. Yin espera que a vantagem possa eventualmente mudar os padrões globais de produtividade científica para regiões que foram restringidas pela barreira linguística.

A pesquisa de IA pode ampliar o que os cientistas citam

O estudo também apontou para um benefício potencial durante pesquisas bibliográficas e construção de citações. Quando os pesquisadores procuram trabalhos relacionados para citar, o Bing Chat – descrito como a primeira ferramenta de pesquisa baseada em IA amplamente adotada – teve melhor desempenho na divulgação de artigos mais recentes e livros relevantes do que as ferramentas de pesquisa tradicionais. As ferramentas tradicionais, por outro lado, eram mais propensas a retornar fontes mais antigas e mais citadas.

“As pessoas que usam LLMs estão se conectando a conhecimentos mais diversos, o que pode gerar ideias mais criativas”, disse o primeiro autor Keigo Kusumegi, estudante de doutorado na área de ciência da informação. Ele planeja pesquisas futuras para testar se o uso da IA ​​está associado a uma ciência mais inovadora e interdisciplinar.

Um novo problema para revisão por pares e avaliação de pesquisas

Mesmo que os LLMs ajudem os indivíduos a produzir mais manuscritos, as mesmas ferramentas podem tornar mais difícil para outros julgarem o que é ciência verdadeiramente forte. Em artigos escritos por humanos, uma escrita mais clara, porém mais complexa, incluindo frases mais longas e palavras maiores, tem sido frequentemente um sinal útil de pesquisa de maior qualidade. No arXiv, bioRxiv e SSRN, os artigos provavelmente escritos por humanos que obtiveram pontuação alta em um teste de complexidade de escrita também foram os que tiveram maior probabilidade de serem aceitos pelos periódicos.

Esse padrão parecia diferente para artigos provavelmente escritos com assistência de LLM. Mesmo quando esses artigos sinalizados por IA obtiveram alta complexidade de redação, eles eram menos propensos a serem aceitos pelos periódicos. Os investigadores interpretam isto como um sinal de que uma linguagem polida pode já não reflectir de forma fiável o valor científico, e que os revisores podem estar a rejeitar alguns destes artigos, apesar da escrita soar forte.

Yin disse que esta lacuna entre a qualidade da escrita e a qualidade da pesquisa pode ter consequências graves. Editores e revisores podem ter mais dificuldades para identificar as submissões mais valiosas, enquanto as universidades e agências de financiamento podem descobrir que as contagens brutas de publicações já não refletem a contribuição científica.

O que vem a seguir para a pesquisa em IA generativa

Os pesquisadores enfatizam que essas descobertas são observacionais. Como próximo passo, eles esperam testar causa e efeito usando abordagens como experimentos controlados, incluindo projetos em que alguns cientistas são designados aleatoriamente para usar LLMs e outros não.

Yin também está organizando um simpósio no campus de Ithaca agendado para 3 a 5 de março de 2026. O evento explorará como a IA generativa está mudando a pesquisa e como cientistas e legisladores podem orientar essas mudanças.

À medida que a IA se torna mais comum para escrever, codificar e até mesmo gerar ideias, Yin espera que a sua influência se expanda, transformando efetivamente estes sistemas numa espécie de co-cientistas. Ele argumenta que os legisladores devem atualizar as regras para acompanhar a rápida evolução da tecnologia.

“A questão agora não é: você usou IA? A questão é: como exatamente você usou IA e se ela é útil ou não.”

Autores e financiamento do estudo

Os co-autores incluem Xinyu Yang, estudante de doutorado na área de ciência da computação; Paul Ginsparg, professor de ciência da informação em Cornell Bowers e de física na Faculdade de Artes e Ciências, e fundador do arXiv; e Mathijs de Vaan e Toby Stuart, da Universidade da Califórnia, Berkeley.

A pesquisa foi apoiada pela National Science Foundation.