Wissenschaftler versuchen derzeit, 50 onkologische Paper zu reproduzieren. Ihr Projekt entpuppt sich als mühsames Unterfangen – viele Resultate lassen sich empirisch nicht nachvollziehen. In den USA fordern Organisationen nun, dass Methoden besser dokumentiert werden.
Wie zuverlässig sind die Aussagen onkologischer Veröffentlichungen in Fachzeitschriften? Mit dieser Frage sehen sich Forscher weltweit konfrontiert. Das Wissenschaftsmagazin Nature hat 1.576 Forscher aus unterschiedlichen Fachrichtungen befragt. Rund 52 Prozent sprechen von einer deutlich sichtbaren Krise der Reproduzierbarkeit, weitere 38 Prozent sehen zumindest vereinzelt Probleme. Forscher von Bayer HealthCare gaben bereits vor Jahren zu, man könne nur 25 Prozent aller grundlegenden Untersuchungen bestätigen. Amgen kam zu ähnlichen Einschätzungen – lediglich 11 Prozent aller veröffentlichten Resultate ließen sich von anderen Wissenschaftlern nachvollziehen.
Die zwei Wissenschaftler Tim Errington und Elizabeth Iorns initiierten deshalb das „Reproducibility Project: Cancer Biology“ (RP:CB). Ihr Ziel ist, wissenschaftliche Veröffentlichungen transparenter zu machen. Zusammen mit Kollegen versuchen sie, wichtige Papers aus der Onkologie zu reproduzieren. Das Team hat alle Arbeiten vorregistriert. Das heißt, für jede Arbeit veröffentlichten die Forscher vorab ihre Pläne und kontaktierten die ursprünglichen Autoren. Gleichzeitig führte die Zeitschrift eLife ein Peer-Review-Verfahren nach üblichen Standards durch. Der schwierigste Teil war, herauszufinden, welche Experimente die Labors tatsächlich durchgeführt hatten. Zwar gibt es in Papers immer einen Methodenteil. Die Darstellung erwies sich jedoch in vielen Fällen als unvollständig oder fehlerhaft. Manche Autoren zitierten nur andere Veröffentlichungen mit ähnlicher Technik.
Jetzt liegen erste Resultate des RP:CP vor. Dem Team gelang es, zwei von fünf Arbeiten weitgehend – wenn auch nicht vollständig – zu reproduzieren. Ein Projekt scheiterte, und zwei weitere erschienen aus technischen Gründen nicht schlüssig zu sein. Es gab Schwierigkeiten mit transgenen Mäusen oder mit Krebszelllinien. Beispielsweise zeigte Levi Garraway vom Dana-Farber Cancer Institute, dass Melanome häufig die Mutation PREX2 tragen. Übertrug er Melanomzellen mit dieser Besonderheit auf Mäuse, wurde das Wachstum dieser Zellen beschleunigt. Garraways Experimente ließen sich nicht reproduzieren. Ob Zellen PREX2 trugen oder nicht, machte keinen Unterschied. Roger J. Davis, der die neuen Experimente durchgeführt hatte, vermutet Unterschiede bei der Anzucht von Ziellinien oder bei den Versuchstieren selbst. Errington führt die Abweichungen auf bislang unterschätzte Variabilitäten zurück, weniger auf das handwerkliche Geschick von Experimentatoren.
Welcher Weg führt aus dem Dilemma? Zumindest in den USA sind Organisationen aufgewacht. Die National Institutes of Health (NIH) haben kürzlich ein Manual für präklinische Projekte veröffentlicht. Darin empfehlen sie unter anderem, wissenschaftliche Journale sollten mehr Wert auf den Methodenteil und auf Rohdaten legen. Digitale Ressourcen, etwa ein Wiki zum jeweiligen Projekt, bieten sich an.