Von Lonni Besançon, Linköping University, und Guillaume Cabanac, Institut de Recherche en Informatique de Toulouse
Das Bild des Forschers, der allein arbeitet und die wissenschaftliche Gemeinschaft ignoriert, ist nur ein Mythos. Forschung basiert auf einem ständigen Austausch, zunächst um die Arbeiten anderer zu verstehen und dann, um die eigenen Ergebnisse bekannt zu machen. Das Lesen und Schreiben von Artikeln, die in Fachzeitschriften oder auf wissenschaftlichen Konferenzen veröffentlicht werden, steht daher im Mittelpunkt der Tätigkeit von Wissenschaftlern.
Beim Verfassen eines Artikels ist es fundamental, die Arbeiten seiner Kollegen zu zitieren, sei es, um einen Kontext zu beschreiben, seine eigenen Inspirationsquellen darzulegen oder die Unterschiede in den Ansätzen und Ergebnissen zu erklären. Von anderen Forschern zitiert zu werden, wenn es aus „guten Gründen“ erfolgt, ist somit ein Maß für die Bedeutung der eigenen Ergebnisse. Aber was passiert, wenn dieses Zitationssystem manipuliert wird?
Unsere kürzlich durchgeführte Studie enthüllt eine heimtückische Methode, um die Zitationszahlen künstlich aufzublähen: die „versteckten Referenzen“.
Die Hintergründe der Manipulation
Die Welt der wissenschaftlichen Veröffentlichung und ihr Funktionieren sowie ihre potentiellen Fehlentwicklungen und deren Ursachen sind wiederkehrende Themen der wissenschaftlichen Popularisierung. Schauen wir uns jedoch ganz besonders eine neue Art der Abweichung an, die die Zitationen zwischen wissenschaftlichen Artikeln betrifft, welche die intellektuellen Beiträge und Einflüsse eines zitierten Artikels auf den zitierenden Artikel widerspiegeln sollen.
Die Zitationen wissenschaftlicher Arbeiten beruhen auf einem standardisierten Referenzsystem: Die Autoren erwähnen ausdrücklich im Text ihres Artikels mindestens den Titel des zitierten Artikels, den Namen der Autoren, das Veröffentlichungsjahr, den Namen der Zeitschrift oder Konferenz, die Seitenzahlen ...
Diese Informationen erscheinen in der Bibliographie des Artikels (einer Referenzliste) und werden als zusätzliche Daten (im Text des Artikels nicht sichtbar) erfasst, die als Metadaten bezeichnet werden, insbesondere bei der Vergabe des DOI (
digital object identifier), einer eindeutigen Kennung für jede wissenschaftliche Publikation.
Die Referenzen einer wissenschaftlichen Veröffentlichung ermöglichen es den Autoren in vereinfachter Form, methodologische Entscheidungen zu rechtfertigen oder die Ergebnisse früherer Studien in Erinnerung zu rufen. Die in jedem wissenschaftlichen Artikel aufgelisteten Referenzen sind in der Tat der offensichtliche Ausdruck des iterativen und kollaborativen Charakters der Wissenschaft. Allerdings haben offenbar einige skrupellose Akteure zusätzliche Referenzen hinzugefügt, die im Text unsichtbar sind, aber in den Metadaten des Artikels während der Registrierung durch die Verlage vorhanden sind. Ergebnis? Die Zitationszahlen einiger Forscher oder Zeitschriften explodieren ohne gerechtfertigten Grund, da diese Referenzen in den Artikeln, die sie angeblich zitieren, nicht vorhanden sind.
Eine neue Art des Betrugs und eine zufällige Entdeckung
Alles beginnt mit Guillaume Cabanac (Mitautor des Artikels), der einen
Post-Publikations-Bewertungsbericht auf PubPeer veröffentlicht, einer Website, auf der Wissenschaftler Publikationen diskutieren und analysieren. Er bemerkt eine Unstimmigkeit: Ein Artikel, vermutlich betrügerisch, weil er
"verquälte Ausdrücke" enthält, einer wissenschaftlichen Zeitschrift, die vom wissenschaftlichen Verlag Hindawi herausgegeben wird, erhielt deutlich mehr Zitierungen als Downloads, was sehr ungewöhnlich ist. Dieser Post erregt die Aufmerksamkeit mehrerer „wissenschaftlicher Detektive“; ein reaktionsschnelles Team bildet sich aus Lonni Besançon, Guillaume Cabanac, Cyril Labbé und Alexander Magazinov.
Wir versuchen, über eine wissenschaftliche Suchmaschine die Artikel zu finden, die den ursprünglichen Artikel zitieren, aber die Suchmaschine Google Scholar liefert keine Ergebnisse, während andere (Crossref, Dimensions) welche finden. Es stellt sich heraus, dass Google Scholar und Crossref oder Dimensions nicht das gleiche Verfahren zur Erfassung der Zitationen anwenden: Google Scholar verwendet den Text des wissenschaftlichen Artikels, während Crossref oder Dimensions die von den Verlagen bereitgestellten Metadaten des Artikels verwendet.
Um das Ausmaß der Manipulation zu verstehen, haben wir drei wissenschaftliche Zeitschriften untersucht, die massenhaft den Hindawi-Artikel zu zitieren schienen. Hier ist unser dreistufiger Ansatz:
- Zuerst listen wir die Referenzen auf, die explizit in den HTML- oder PDF-Versionen der Artikel vorhanden sind;
- Dann vergleichen wir diese Listen mit den Metadaten, die
Crossref, eine Agentur, die DOIs und ihre Metadaten vergibt, aufgezeichnet hat. Wir entdecken, dass hier zusätzliche Referenzen hinzugefügt wurden, die in den Artikeln nicht auftauchten;
- Schließlich überprüfen wir eine dritte Quelle, Dimensions, eine bibliometrische Plattform, die die Metadaten von Crossref zur Berechnung der Zitationen verwendet. Auch hier stellen wir Unstimmigkeiten fest.
Das Ergebnis? In diesen drei Zeitschriften waren mindestens 9 % der aufgezeichneten Referenzen „versteckte Referenzen“. Diese zusätzlichen Referenzen erscheinen nicht in den Artikeln, sondern nur in den Metadaten, wodurch die Zitationszahlen verfälscht und einigen Autoren ungerechtfertigte Vorteile verschafft werden. Einige tatsächlich in den Artikeln vorhandene Referenzen gehen zudem in den Metadaten „verloren“.
Die Auswirkungen und mögliche Lösungen
Warum ist diese Entdeckung wichtig? Die Zitationszahlen beeinflussen maßgeblich die Forschungsfinanzierung, akademische Beförderungen und die Institutionenrankings. Sie werden je nach Institution und Land unterschiedlich verwendet, spielen aber immer eine Rolle bei solchen Entscheidungen.
Eine Manipulation der Zitationen kann daher zu Ungerechtigkeiten und auf falschen Daten basierenden Entscheidungen führen. Noch besorgniserregender ist, dass diese Entdeckung Fragen zur
Integrität der Systeme zur Messung des wissenschaftlichen Einflusses aufwirft, die schon seit mehreren Jahren betont wird.
Tatsächlich haben viele Forscher bereits in der Vergangenheit darauf hingewiesen, dass diese Messungen manipuliert werden könnten, und vor allem, dass sie einen ungesunden Wettbewerb unter Forschern fördern, die daher versucht sein könnten, Abkürzungen zu nehmen, um schneller zu veröffentlichen oder bessere Ergebnisse zu erzielen, die somit häufiger zitiert würden.
Eine möglicherweise dramatischere Konsequenz dieser Produktivitätsmessungen für Forscher liegt vor allem im
Verschwenden von Bemühungen und
wissenschaftlichen Ressourcen aufgrund des durch diese Messungen geschaffenen Wettbewerbs.
Um gegen diese Praxis vorzugehen, empfiehlt das „Invisible College“, ein informelles Kollektiv wissenschaftlicher Detektive, zu dem unser Team gehört, mehrere Maßnahmen:
- Eine gründliche Überprüfung der Metadaten durch Verlage und Agenturen wie Crossref.
- Unabhängige Audits zur Sicherstellung der Datenzuverlässigkeit.
- Mehr Transparenz im Umgang mit Referenzen und Zitationen.
Diese Studie verdeutlicht die Bedeutung der Genauigkeit und Integrität der Metadaten, da auch sie anfällig für Manipulationen sind. Es ist auch wichtig zu betonen, dass Crossref und Dimensions die Ergebnisse der Studie bestätigt haben und dass anscheinend einige Korrekturen vom Verlag vorgenommen wurden, der die an Crossref übermittelten Metadaten und infolgedessen die bibliometrischen Plattformen wie Dimensions manipuliert hatte.
Bis zu Korrekturmaßnahmen, die manchmal
sehr lange dauern oder nicht existieren, erinnert diese Entdeckung an die Notwendigkeit ständiger Wachsamkeit in der akademischen Welt.
Quelle: The Conversation unter Creative Commons-Lizenz