Por Lonni Besançon, Universidad de Linköping, y Guillaume Cabanac, Instituto de Investigación en Informática de Toulouse
La imagen del investigador que trabaja solo ignorando a la comunidad científica es solo un mito. La investigación se basa en un intercambio constante, primero y sobre todo para entender el trabajo de los demás y luego, para dar a conocer sus propios resultados. La lectura y escritura de artículos publicados en revistas o conferencias científicas son, por lo tanto, el corazón de la actividad de los investigadores.
Cuando se escribe un artículo, es fundamental citar los trabajos de sus pares ya sea para describir un contexto, detallar sus propias fuentes de inspiración o explicar las diferencias en enfoques y resultados. Ser citado por otros investigadores, cuando es por “buenas razones”, es una de las medidas de la importancia de sus propios resultados. Pero, ¿qué pasa cuando este sistema de citas se manipula?
Nuestro reciente estudio revela un método insidioso para inflar artificialmente las cuentas de citas: las "referencias furtivas".
Los entresijos de la manipulación
El mundo de la publicación científica y su funcionamiento, así como sus posibles excesos y sus causas, son temas recurrentes de la divulgación científica. Sin embargo, enfoquémonos especialmente en un nuevo tipo de desviación que afecta las citas entre artículos científicos, supuestas a reflejar las contribuciones e influencias intelectuales de un artículo citado sobre el artículo citante.
Las citas de trabajos científicos se basan en un sistema de referenciación estandarizado: los autores mencionan explícitamente en el texto de su artículo, al menos el título del artículo citado, el nombre de sus autores, el año de publicación, el nombre de la revista o conferencia, los números de página...
Estas informaciones aparecen en la bibliografía del artículo (una lista de referencias) y se registran en forma de datos anexos (no visibles en el texto del artículo) calificados como metadatos, especialmente al asignar el DOI (
digital object identifier), un identificador único para cada publicación científica.
Las referencias de una publicación científica permiten, de manera simplificada, que los autores justifiquen sus elecciones metodológicas o recuerden los resultados de estudios pasados. Las referencias listadas en cada artículo científico son, de hecho, la manifestación evidente del carácter iterativo y colaborativo de la ciencia. Sin embargo, algunos actores poco escrupulosos han añadido visiblemente referencias adicionales, invisibles en el texto, pero presentes en los metadatos del artículo durante su registro por las editoriales. ¿El resultado? Las cuentas de citas de algunos investigadores o revistas se disparan sin una razón válida, ya que estas referencias no están presentes en los artículos que se supone que las citan.
Un nuevo tipo de fraude y un descubrimiento oportunista
Todo comienza gracias a Guillaume Cabanac (coautor del artículo) que publica un
informe de evaluación post-publicación en PubPeer, un sitio donde los científicos discuten y analizan las publicaciones. Nota una incoherencia: un artículo, probablemente fraudulento, porque presenta
“expresiones torturadas”, de una revista científica publicada por el editor de revistas científicas Hindawi ha obtenido muchas más citas que descargas, lo cual es muy inusual. Esta publicación llama la atención de varios “detectives científicos”; se forma un equipo reactivo con Lonni Besançon, Guillaume Cabanac, Cyril Labbé y Alexander Magazinov.
Intentamos encontrar, a través de un motor de búsqueda científica, los artículos que citan el artículo inicial, pero el motor de búsqueda Google Scholar no proporciona ningún resultado, mientras que otros (Crossref, Dimensions) sí lo hacen. Resulta que, en realidad, Google Scholar y Crossref o Dimensions no utilizan el mismo procedimiento para recuperar las citas: Google Scholar utiliza el texto mismo del artículo científico mientras que Crossref o Dimensions utilizan los metadatos del artículo que proporcionan las editoriales.
Para entender la magnitud de la manipulación, examinamos entonces tres revistas científicas que parecían citar masivamente el artículo de Hindawi. Este fue nuestro enfoque en tres etapas:
- Primero, listamos las referencias presentes explícitamente en las versiones HTML o PDF de los artículos;
- Luego, comparamos estas listas con los metadatos registrados por
Crossref, una agencia que asigna los DOIs y sus metadatos. Descubrimos que se habían añadido algunas referencias adicionales aquí, pero no aparecían en los artículos;
- Por último, verificamos una tercera fuente, Dimensions, una plataforma bibliométrica que utiliza los metadatos de Crossref para calcular las citas. Nuevamente, encontramos incoherencias.
¿El resultado? En estas tres revistas, al menos el 9 % de las referencias registradas eran "referencias furtivas". Estas referencias adicionales no figuran en los artículos, sino únicamente en los metadatos, alterando los conteos de citas y dando una ventaja injusta a algunos autores. Algunas referencias realmente presentes en los artículos, por otro lado, se “pierden” en los metadatos.
Las implicaciones y posibles soluciones
¿Por qué es importante este descubrimiento? Los conteos de citas influyen significativamente en los financiamientos de investigación, las promociones académicas y los rankings de las instituciones. Se utilizan de manera diferente según las instituciones y los países, pero siempre juegan un papel en este tipo de decisiones.
Una manipulación de las citas puede, por lo tanto, conducir a injusticias y decisiones basadas en datos falsos. Más preocupante aún, este descubrimiento plantea preguntas sobre
la integridad de los sistemas de medición de impacto científico, cuestionada desde hace varios años.
De hecho, muchos investigadores ya han señalado en el pasado que estas medidas pueden ser manipuladas, pero sobre todo que generan una competencia malsana entre investigadores que, por lo tanto, pueden sentirse tentados a tomar atajos para publicar más rápidamente o tener mejores resultados que serían más citados.
Una consecuencia potencialmente más dramática de estas medidas de productividad de los investigadores reside sobre todo en el
desperdicio de esfuerzos y de
recursos científicos debido a la competencia impulsada por estas medidas.
Para combatir esta práctica, el "Colegio Invisible", un colectivo informal de detectives científicos al que contribuye nuestro equipo, recomienda varias medidas:
- Una verificación rigurosa de los metadatos por parte de los editores y agencias como Crossref.
- Auditorías independientes para garantizar la fiabilidad de los datos.
- Una mayor transparencia en la gestión de referencias y citas.
Este estudio destaca la importancia de la precisión y la integridad de los metadatos, ya que también están sujetos a manipulaciones. También es importante señalar que Crossref y Dimensions han confirmado los resultados del estudio y que parece que algunas correcciones han sido realizadas por la editorial que habría manipulado los metadatos confiados a Crossref y, por efecto dominó, a plataformas bibliométricas como Dimensions.
A la espera de medidas correctivas, que a veces son
muy largas o incluso inexistentes, este descubrimiento recuerda la necesidad de una vigilancia constante en el mundo académico.
Fuente: The Conversation bajo licencia Creative Commons