Envios de periódicos repletos de citações falsas criadas por IA

Há algumas semanas, um professor adjunto de educação entrou em contato com Charles Hodges e Stephanie Moore, dois colaboradores frequentes de pesquisa, solicitando uma cópia de seu artigo de 2023 intitulado “Presença instrucional e sucesso do aluno no eLearning síncrono e assíncrono”. O professor esperava compartilhá-lo com os alunos em seu curso sobre e-learning.

Hodges e Moore ficaram felizes em compartilhar seu trabalho, mas havia um problema: o jornal não existe.

“O cara nos enviou toda a referência e nós pensamos: ‘Nunca escrevemos isso’”, disse Moore, professor de organização, informação e ciências da aprendizagem na Universidade do Novo México. “Se você tentar clicar no [digital object identifier] link, não leva a lugar nenhum.

A citação parece completamente legítima. É formatado usando o estilo APA. Faz referência ao Diário de aprendizagem on-line-um diário de verdade em que Moore publicou trabalho– como editor do jornal. Inclui até um link DOI falso, que leva a uma página “DOI não encontrado”. Para qualquer pessoa, exceto os dois autores atribuídos incorretamente, seria quase impossível dizer que o artigo é falso sem mais pesquisas. Mas a citação foi alucinada pela inteligência artificial.

Também nos últimos dois meses, Hodges, professor de liderança, tecnologia e desenvolvimento humano na Georgia Southern University, foi convidado a rever uma proposta de livro sobre um tema adjacente ao seu trabalho.

“O tema deste livro não era exatamente minha área de especialização, mas também não estava totalmente fora dela. O tempo todo eu estava pensando: ‘Eu me pergunto por que eles me pediram'” para revisá-lo, disse Hodges. “Então chego à seção onde os possíveis autores listaram livros concorrentes ou semelhantes, e eles tinham um livro listado que Stephanie e eu editamos. Tinha um ano e estava listado na Springer, que é uma grande editora acadêmica. Tinha até um pequeno resumo do assunto do livro.”

Mas, assim como o artigo do jornal, o livro não existia.

À medida que a IA prolifera na vida acadêmica, os professores são cada vez mais assombrados por citações fantasmas. A professora de geografia da York St. John University, Pauline Couper, disse Por dentro do ensino superior sobre Bluesky que ela analisou um pedido de subsídio que “citava um artigo inexistente, aparentemente meu”. Gale Sinatra, professora de educação e psicologia da Universidade do Sul da Califórnia, pediu recentemente a um chatbot de IA uma lista de suas publicações, e ela incluía alguns artigos reais e outros inventados. Os documentos falsos foram tão convincentes que ela verificou novamente seu próprio curriculum vitae.

“Eu realmente tive que verificar”, disse ela. “Então, qualquer outra pessoa simplesmente presumiria que eles eram precisos.”

As citações falsas estão se tornando um problema específico para os periódicos acadêmicos, que normalmente verificam as listas de referências durante a segunda ou terceira rodada do processo de revisão, disse Andrea Harkins-Brown, editora-chefe do Revista de Tecnologia e Formação de Professores.

“Eles parecem muito plausíveis, porque é para isso que os grandes modelos de linguagem são projetados”, disse Harkins-Brown. “Às vezes, eles listam autores que normalmente publicam sobre esse assunto. Parecem locais onde você esperaria ver o trabalho, mas há uma incompatibilidade. Portanto, pode ser o autor certo, mas não o ano certo.”

É uma questão relativamente nova. Hodges, que era o editor do Tendências tecnológicas de 2014 a 2024, disse que não teve problemas com citações falsas, mesmo no final do mandato. Harkins-Brown é editora há cerca de um ano e já vê mais citações geradas por IA nos envios do que quando começou.

“Tivemos artigos que passaram por várias rodadas de revisão – eu os analisei como o editor e várias rodadas de revisores os analisaram. E essas referências fantasmas são realmente difíceis de detectar – não as detectamos até estarmos na fase de edição”, disse Harkins-Brown.

Moore, da UNM, também é editor-chefe do Revista de Computação no Ensino Superiorpublicado pela Springer. A Springer avalia a integridade dos envios e, às vezes, os envios são retirados da pilha antes mesmo de chegarem à mesa de Moore. A revista de Harkins-Brown está considerando um software que faria algo semelhante.

“De vez em quando, obtemos algo em que um autor é sinalizado com um problema de integridade, e isso significa que essa pessoa está envolvida em padrões claros e documentáveis ​​de citação de trabalho que não existe ou outras questões éticas”, disse Moore. “Definitivamente temos visto um aumento nesse tipo de atividade, e a Springer implementou [the screening] por causa desses problemas com artigos gerados por IA ou citações falsas e coisas assim.”

Quando os editores encontram uma citação falsa, Harkins-Brown pede ao autor que envie uma cópia do artigo citado.

“Sempre quero presumir que talvez eles tenham cometido um erro, talvez seja apenas o ano errado ou talvez haja alguma razão plausível para que eu não consiga encontrá-lo”, disse ela. Mas na maioria das vezes, os autores simplesmente dizem que não podem. “Não há muita conversa de ida e volta”, disse ela.

Infelizmente, isso leva à rejeição de bons trabalhos, disse ela.

“Na academia, as pessoas estão muito focadas em… publicar ou morrer”, disse Harkins-Brown. “É uma grande perda usar a IA para tentar economizar algumas horas, quando isso realmente pode se tornar a razão pela qual você está sacrificando esse trabalho.”