Proibição de autores que enviam conteúdo de IA “bem-vindo, mas inexequível”

A decisão de um importante repositório científico de proibir autores cujo trabalho contenha referências “alucinadas” escritas por inteligência artificial generativa foi bem recebida pelos defensores da integridade da investigação, apesar das preocupações sobre como a política pode ser aplicada de forma adequada.

Em um movimento histórico, a popular plataforma de pré-impressão arXiv disse que imporá uma proibição imediata de um ano se encontrar “evidências incontestáveis” de que os envios contêm “linguagem inapropriada, conteúdo plagiado, conteúdo tendencioso, erros, enganos, referências incorretas ou conteúdo enganoso” escrito por grandes modelos de linguagem.

“Se uma submissão contém evidências incontestáveis ​​de que os autores não verificaram os resultados da geração do LLM, isso significa que não podemos confiar em nada do artigo”, explicou Thomas Dietterich, que preside a seção de computação do arXiv, ao anunciou a política na plataforma de mídia social X.

Exemplos de evidências incontestáveis ​​incluem “referências alucinadas” e “metacomentários do LLM”, continuou Dietterich, que deu exemplos de um pesquisador que não conseguiu excluir frases como “aqui está um resumo de 200 palavras; gostaria que eu fizesse alguma alteração?” ou “os dados desta tabela são ilustrativos, preencha-os com os números reais de seus experimentos”.

A proibição de um ano do arXiv será “seguida pela exigência de que submissões subsequentes do arXiv devem primeiro ser aceitas em um local respeitável e revisado por pares”, disse Dietterich, professor emérito da Universidade Estadual de Oregon cuja pesquisa se concentra em aprendizado de máquina e IA.

A nova política é amplamente vista como uma tentativa de conter o número crescente de submissões assistidas por IA para o servidor de pré-impressão de matemática, física e computação, que recebeu mais de 30.000 inscrições pela primeira vez em março—mais que o dobro dos 15.000 artigos recebidos em 2020 e seis vezes os 5.000 artigos recebidos em 2015.

Embora alguns estudiosos tenham sugerido que a proibição de um ano para o primeiro delito é muito dura, a ativista da integridade da pesquisa Anna Abalkina, baseada no Universidade Livre de Berlimsaudou a “contramedida contra submissões de fábricas de papel e manuscritos de baixa qualidade”.

“Temos muitas regras, mas não tantos mecanismos de aplicação”, disse Abalkina sobre a natureza decisiva da proibição.

“Congratulo-me com esta medida porque se destina principalmente às fábricas de papel e não aos autores legítimos. De qualquer forma, os autores ainda têm a oportunidade de recorrer”, acrescentou.

A própria pesquisa de Abalkina mostrou um “aumento nos envios para servidores de pré-impressão que também foram feitos para aumentar as citações”, explicou ela, com um pré-impressão recente mostrando que muitos trabalhos submetidos a conferências científicas já haviam sido colocados à venda por fábricas de papel.

Reese Richardson, pesquisadora de pós-doutorado na Universidade do Noroestedo Centro para a Ciência da Ciência e Inovação, que se concentra na integridade da pesquisa, disse que a mudança política “sem dúvida decorre” do estudo recente por Zhenyue Zhao e outros, incluindo o fundador do arXiv, Paul Ginsparg, que descobriu que quase 150.000 referências “alucinadas” estavam presentes em artigos publicados em quatro pré-impressões somente em 2025.

Embora tenha elogiado os esforços do preprint para “desincentivar o envio de besteiras geradas pela IA”, Richardson questionou se essas medidas punitivas funcionariam, dada a escala de envios duvidosos.

“Zhao et al. estimam que milhares de manuscritos contendo referências alucinadas serão postados no arXiv todos os anos. O arXiv planeja aplicar proibições a todos esses envios? A emissão dessas proibições exige que a equipe do arXiv julgue cada caso, bem como responda aos recursos, o que imagino que acabará sendo bastante oneroso, mesmo que eles processem apenas uma pequena fração dos casos ofensivos”, disse ele.

“Se o arXiv aplicar esta política apenas seletivamente, eles poderão economizar recursos na adjudicação e aplicação. No entanto, se o risco de ser punido for muito baixo, mesmo se você for pego, há pouco incentivo contra os autores que continuam a enviar conteúdo com referências não verificadas”, acrescentou Richardson.

Existem preocupações semelhantes sobre como a equipe do arXiv irá reprimir os envios com falsificações, plágio e conteúdo sem sentido, disse Richardson. “Embora todos nós gostássemos de ver muito menos besteiras, as mesmas preocupações sobre escalabilidade se aplicam.”

A nova política, no entanto, também levantou questões sobre a evolução do papel dos preprints na literatura científica, continuou ele, observando que “o arXiv está numa situação complicada”, dado que a sua missão declarada é “partilhar artigos de investigação e facilitar a descoberta científica de forma rápida e gratuita”, em vez de verificar a sua qualidade.

“O papel assumido no ecossistema de informação é hospedar trabalhos científicos que não tenham passado por procedimentos tradicionais de controle, como revisão formal por pares e aceitação editorial para publicação”, explicou.

“No entanto, em certos campos, como ciência da computação ou IA, o arXiv está indiscutivelmente substituindo o papel tradicionalmente ocupado por veículos competitivos, como periódicos e conferências, de modo que ter um artigo completo sobre o arXiv pode, por si só, ser uma conquista que confere status”, disse ele.

“Apesar de estarem agora firmemente na sua quarta década, plataformas de pré-impressão como o arXiv continuam a ser uma experiência contínua na comunicação académica. À medida que esta experiência continua, a forma como a verificação e a gestão devem ser factores nesta missão continuará a ser objecto de debate considerável”, disse Richardson.