Was passiert, wenn man den Kern des Publikationsvorganges in der Medizin, das Peer Review System, selbst einmal unter Review stellt? Das fragte sich auch John Bohannon, der eine frei erfundene Studie bei über 300 Open-Access-Journalen einreichte. Mit erstaunlichem Ergebnis.
Die Studie wurde von mehr als der Hälfte der Journale angenommen, obwohl sie mit solchen gravierenden Fehlern versehen war, die „jedem Gutachter, der Chemiegrundlagen in der Schule gelernt hatte und die Fähigkeit besitzt, einfachste Abbildungen zu interpretieren, sofort auffallen würden“, schreibt der Wissenschaftsjournalist im bekannten Journal „Science“. Sein Artikel hat nun für zahlreiche Diskussionen über die Vor- und Nachteile der Open-Access-Journale gesorgt. Der an Harvard tätige Wissenschaftler hat mit Hilfe eines Computerprogrammes hunderte Manuskripte mit der gleichen Hypothese generiert: die Behandlung einer Krebszelllinie mit einer aus der Flechte gewonnenen Substanz hemmt den Wachstum und steigert die Bestrahlungsempfindlichkeit der Zellen. Die Namen der Autoren und der Institute, (z. B. Ocorrafoo Cobange vom Wassee Institute of Medicine in Asmara, Eritrea) sowie der Name der Substanz und der Krebszelllinie wurden dabei bei jeder Einreichung verändert. Die Fehler waren alles andere als versteckt: so zeigte die Hauptabbildung etwa im Widerspruch zum Titel und Text, dass die Substanz den Zellwachstum überhaupt nicht beeinflusst. Bohannon hat sogar an die Qualität der Sprache gedacht: die Manuskripte wurden im Google Übersetzer erst ins Französische und dann wieder zurück ins Englische übersetzt. In der Diskussion teilten die Studienautoren erschreckenderweise mit, dass die Substanz demnächst direkt an Patienten getestet wird.
Die Bohannon-Studie entdeckt eine vollständige Abwesenheit der Qualitätskontrolle bei einer großen Zahl der stichprobenartig gewählten Open-Access-Journale. Die blühende Welt des Open-Access basiert auf der Prämisse, die wissenschaftliche Information soll allen entgeltfrei zugänglich sein. Die Open-Access-Journale publizieren nur online und bieten ein schnelles Peer Review, eine schnelle Veröffentlichung und große Sichtbarkeit an. Somit soll der Trägheit der klassischen Journale entgegengewirkt und die Wissenschaft dynamisiert werden. Das Flaggschiff der Bewegung ist die Public Library of Science (PLoS) Journalfamilie, deren Mitglieder mittlerweile hochanerkannte Journale auf dem jeweiligen Gebiet sind. PLoS One hat die Familie in der Bohannon-Studie gut vertreten: das Paper wurde von PLoS One innerhalb von zwei Wochen abgelehnt. Die PLoS Journale verlangen für die Publikation kein Entgelt von den Autoren und stellen somit eine Ausnahme zu den restlichen Open-Access-Journalen in der Studie dar: alle Zeitschriften, die das Bohannon-Paper angenommen haben, erwarteten Bezahlung vor Veröffentlichung. Die Ermittlung der Verantwortlichen lieferte interessante Ergebnisse. Während die Journale üblicherweise Namen mit scheinbar hohem Wiedererkennungswert wählen (z. B. European Journal of Chemistry), befinden sich die zuständigen Büros in Ländern mit einer relativ geringen wissenschaftlichen Tradition, wie etwa Pakistan. Die zwecks Bezahlung angegebenen Geldinstitute liegen wiederum an einem anderen Ort: in Nigeria, Malaysia, Indien, viele aber auch in den USA. Noch spannender ist die Liste der Herausgeber dieser Journale. Hier finden sich Namen mit einem tatsächlich hohen Wiedererkennungswert: Elsevier, Wolters Kluwer und Sage. Auf der Homepage von Science kann man eine interaktive Weltkarte mit der Lage der an der Bohannon-Studie „teilnehmenden“ Herausgeber, Editoren und Geldinstitute einsehen, und eine neue Landschaft des wissenschaftlichen Wilden Westens betrachten.
Das Verhalten der Journale, die die gefälschte Arbeit angenommen haben, ist ein Symptom tiefergreifender Probleme in der Wissenschaft. Die Zeitschriften mit niedrigeren Impact Factoren sind vorerst auf die Menge der publizierten Artikel für das eigene Überleben angewiesen. Die meisten der 8250 im Directory of Open Access Journals (DOAJ) aufgeführten Zeitschriften ziehen die Autoren mit einem schnellen Peer Review Vorgang und sofortiger Veröffentlichung an. Diese Politik wird dadurch begünstigt, dass der Karriereweg der Wissenschaftler, die in diesen Journalen publizieren, oft von der Anzahl der publizierten Artikel, anstatt deren Qualität, abhängt. Es entsteht somit eine Konstellation, in der es für die meisten Editoren fast unmöglich wird, die moralischen und professionellen Ansprüche bei dem ohnehin intransparenten Peer Review System anzuhalten.
John Bohannon entdeckte schwere Mängel der Open-Access Bewegung, tat das allerdings als Mitarbeiter des bekanntesten Gegners des Open-Access, des Journals Science. Wie wären die Ergebnisse, wenn er die traditionellen Journale untersucht hätte, und warum hat Bohanon diese nicht in seine Studie eingeschlossen? In seinem Artikel bietet er die Antwort auf diese Frage und schreibt, die Zeit zwischen Manuskripteinreichung und Antwort sei bei den traditionellen Journalen viel länger, weshalb die Gemeinschaft sein Vorhaben schnell entdeckt hätte. Das gleiche Problem, das die Open-Access Welt belastet, ist aber auch in der traditionellen Welt des wissenschaftlichen Publizierens vorhanden: Qualität kommt oft nach Quantität. Ob das Peer Review System der traditionellen Journale durch die gleiche Methodik untersuchbar ist, sei dahingestellt. Es erscheint zumindest sinnvoll, zu warten, bis ein neues, transparentes und standardisiertes Modell der Begutachtung vorgeschlagen wird, bevor man den gesamten Peer Review Prozess, den Inbegriff wissenschaftlicher Integrität, hinterfragt.