Por Lonni Besançon, Linköping University, e Guillaume Cabanac, Institut de Recherche en Informatique de Toulouse
A imagem de um pesquisador que trabalha sozinho ignorando a comunidade científica é apenas um mito. A pesquisa é baseada em um intercâmbio constante, primeiro e acima de tudo para entender os trabalhos dos outros e, em seguida, para divulgar seus próprios resultados. A leitura e a escrita de artigos publicados em revistas ou conferências científicas estão, portanto, no cerne da atividade dos pesquisadores.
Quando se escreve um artigo, é fundamental citar os trabalhos de seus colegas, seja para descrever um contexto, detalhar suas próprias fontes de inspiração ou ainda explicar as diferenças de abordagens e resultados. Ser citado por outros pesquisadores, quando é por "boas razões", é uma das medidas da importância de seus próprios resultados. Mas o que acontece quando esse sistema de citações é manipulado?
Nosso estudo recente revela um método insidioso para inflar artificialmente as contagens de citações: as "referências furtivas".
Os bastidores da manipulação
O mundo da publicação científica e seu funcionamento, bem como seus potenciais desvios e suas causas, são temas recorrentes na divulgação científica. No entanto, vamos nos concentrar particularmente em um novo tipo de desvio que afeta as citações entre artigos científicos, que deveriam refletir as contribuições e influências intelectuais de um artigo citado sobre o artigo citante.
As citações de trabalhos científicos repousam sobre um sistema de referência padronizado: os autores mencionam explicitamente no texto de seu artigo, no mínimo, o título do artigo citado, o nome de seus autores, o ano de publicação, o nome da revista ou conferência, os números de página...
Essas informações aparecem na bibliografia do artigo (uma lista de referências) e são registradas sob a forma de dados anexos (não visíveis no texto do artigo) qualificados como metadados, especialmente durante a atribuição do DOI (
digital object identifier), um identificador único para cada publicação científica.
As referências de uma publicação científica permitem, de forma simplificada, que os autores justifiquem escolhas metodológicas ou recordem os resultados de estudos anteriores. As referências listadas em cada artigo científico são, na verdade, a manifestação evidente do aspecto iterativo e colaborativo da ciência. No entanto, alguns atores pouco escrupulosos aparentemente adicionaram referências extras, invisíveis no texto, mas presentes nos metadados do artigo durante seu registro pelas editoras. Resultado? As contagens de citações de alguns pesquisadores ou revistas aumentam sem motivo válido, pois essas referências não estão presentes nos artigos que supostamente as citam.
Um novo tipo de fraude e uma descoberta oportuna
Tudo começa graças a Guillaume Cabanac (coautor do artigo) que publica um
relatório de avaliação pós-publicação no PubPeer, um site onde os cientistas discutem e analisam publicações. Ele nota uma incoerência: um artigo, provavelmente fraudulento, por apresentar
"expressões torturadas", de uma revista científica publicada pelo editor de revistas científicas Hindawi obteve muito mais citações do que downloads, o que é muito incomum. Este post chama a atenção de vários "detetives científicos"; uma equipe reativa se forma com Lonni Besançon, Guillaume Cabanac, Cyril Labbé e Alexander Magazinov.
Nós tentamos encontrar, via um motor de busca científica, os artigos que citavam o artigo inicial, mas o motor de busca Google Scholar não fornece nenhum resultado, enquanto outros (Crossref, Dimensions) encontram. Acontece, na realidade, que o Google Scholar e o Crossref ou Dimensions não utilizam o mesmo método para recuperar as citações: o Google Scholar usa o próprio texto do artigo científico, enquanto o Crossref ou Dimensions usam os metadados do artigo fornecidos pelas editoras.
Para entender a extensão da manipulação, examinamos três revistas científicas que pareciam citar massivamente o artigo da Hindawi. Aqui está nossa abordagem em três etapas:
- Primeiro, listamos as referências presentes explicitamente nas versões HTML ou PDF dos artigos;
- Em seguida, comparamos essas listas com os metadados registrados pelo
Crossref, uma agência que atribui os DOIs e seus metadados. Descobrimos que algumas referências extras foram adicionadas ali, mas não apareciam nos artigos;
- Por fim, verificamos uma terceira fonte, Dimensions, uma plataforma bibliométrica que usa os metadados do Crossref para calcular as citações. Novamente, constatamos incoerências.
O resultado? Nessas três revistas, pelo menos 9% das referências registradas eram "referências furtivas". Essas referências adicionais não aparecem nos artigos, mas apenas nos metadados, distorcendo assim as contagens de citações e dando uma vantagem injusta a alguns autores. Algumas referências realmente presentes nos artigos estão, além disso, "perdidas" nos metadados.
As implicações e potenciais soluções
Por que esta descoberta é importante? As contagens de citações influenciam significativamente os financiamentos de pesquisa, as promoções acadêmicas e os rankings das instituições. Elas são usadas de maneira diferente dependendo das instituições e dos países, mas sempre desempenham um papel nessas decisões.
Uma manipulação das citações pode, portanto, levar a injustiças e a decisões baseadas em dados falsos. Mais preocupante ainda, essa descoberta levanta questões sobre
a integridade dos sistemas de medição do impacto científico, que são destacadas há vários anos.
De fato, muitos pesquisadores já salientaram que essas medidas poderiam ser manipuladas, mas especialmente que engendrariam uma competição insalubre entre os pesquisadores que, por conseguinte, seriam tentados a tomar atalhos para publicar mais rapidamente ou obter melhores resultados que seriam mais citados.
Uma consequência, potencialmente mais dramática, dessas medidas de produtividade dos pesquisadores reside principalmente no
desperdício de esforços e de
recursos científicos devido à competição criada por essas medidas.
Para combater essa prática, o "Collège Invisible", um coletivo informal de detetives científicos ao qual nossa equipe contribui, recomenda várias medidas:
- Uma verificação rigorosa dos metadados pelas editoras e agências como o Crossref.
- Auditorias independentes para garantir a confiabilidade dos dados.
- Uma maior transparência na gestão de referências e citações.
Este estudo destaca a importância da precisão e integridade dos metadados, pois eles também estão sujeitos a manipulações. Também é importante notar que o Crossref e o Dimensions confirmaram os resultados do estudo e que parece que algumas correções foram feitas pela editora que teria manipulado os metadados confiados ao Crossref e, por efeito colateral, às plataformas bibliométricas como Dimensions.
Enquanto aguardamos medidas corretivas, que às vezes são
muito longas, ou até inexistentes, essa descoberta reforça a necessidade de uma vigilância constante no mundo acadêmico.
Fonte: The Conversation sob licença Creative Commons