Jeder Arzt kennt das „Single Study Syndrome“. Eine Einzelstudie mit unerwarteten Ergebnissen macht große Schlagzeilen, bis die nächste Publikation die Ergebnisse widerlegt. Doch auch wer sich auf systematische Übersichten konzentriert, kann in die Falle tappen.
Virginia Hughes, Bloggerin beim National Geographic Magazine, hat sich die Mühe gemacht, aus dem Archiv der New York Times der letzten zehn Jahre Artikel mit den Neuigkeiten zu Resveratrol herauszusuchen, dem angeblich lebensverlängernden Stoff im Rotwein. Regelmäßig berichtete das Blatt über sensationelle Neuigkeiten aus der dazugehörigen Forschung: 2003 über den Gewinn an Lebenszeit bei Rotweintrinkern, den Zweifeln daran im Jahr 2011, möglichen Schwindeleien bei den Experimenten im Jahr 2012, die die ganze Geschichte in Frage stellten, 2013, dass doch etwas Wahres daran sei. Vor einigen Monaten erschien dann die Meldung, dass Resveratrol im Wein keinerlei gesundheitsfördernde Wirkung habe. Soll man solche Berichte dann überhaupt noch ernst nehmen, auch wenn sie von den Wissenschafts-Profis einer renommierten, amerikanischen Zeitung stammen?
Per Twitter forderte Harvard-Psychologe Steven Pinker im Sommer seine journalistischen Leser auf: „Hört auf, über Einzelstudien zu berichten, ganz gleich wie sexy sie sind, konzentriert Euch auf Metastudien und Reviews.“ Wenn ein „Durchbruch“ den nächsten jagt und der übernächste die ganzen Erkenntnisse des vorherigen wieder auf den Kopf stellt, sprechen Wissenschaftsjournalisten inzwischen vom „Single-Study-Syndrome“: Manchmal Resultat aufwändiger PR-Arbeit für ein Institut oder eine Universität, manchmal auch Folge einer öffentlichen Aufmerksamkeit für das „heiße“ Thema. Einfache Wahrheiten, so argumentieren viele Journalisten, seien das, was der Rezipient hören, sehen oder lesen möchte, für komplizierte Zusammenhänge, Unsicherheiten oder sich widersprechende Wissenschaftler sei dabei kein Platz - ganz besonders in der Medizin. Die Folgen einer solchen Jagd nach einzelnen Forschungsergebnissen publizierte eine französisch-amerikanische Arbeitsgruppe vor zwei Jahren in der Fachzeitschrift „PLoS One“. Sie pickte sich die zehn meistzitierten Wissenschaftspublikationen über ADHS aus den 90er Jahren heraus und analysierte, was aus den entsprechenden Ergebnissen geworden war. Diese „Top 10“ fanden sich rund viermal so oft in der öffentlichen Presse wie 67 verwandte wissenschaftliche Artikel über das Thema. Was die Forscher aber in diesen zehn „wichtigsten“ berichteten, erwies sich in sechs Fällen im Nachhinein als falsch oder zumindest übertrieben. Das aber blieb fast immer der Öffentlichkeit verborgen, nur einer vor 223 Zeitungsartikeln berichtete über die spätere Korrektur der aufgestellten These.
Besonders die Sozialpsychologie hatte sich in den letzten Jahren den zweifelhaften Ruf geholt, gerne Ergebnisse zu publizieren, die sich von anderen Forschern nicht bestätigen ließen. Typisches Beispiel war etwa ein Artikel von Simone Schnall von der Universität Plymouth aus dem Jahr 2008, der das Händewaschen in Zusammenhang mit Moral-Urteilen über andere Menschen brachte. Vergebliche Versuche, den Befund durch entsprechende Wiederholung der Experimente zu bestätigen, brachten Schnall den Ruf einer zweifelhaften Wissenschaftlerin ein und die Psychologin fühlte sich laut „Science“ wie eine „kriminelle Tatverdächtige“, während die erfolglosen Replikatoren als „Aufdecker“ galten, obwohl sie vor der Publikation noch nicht einmal mit Schnall gesprochen hatten. Die Gründe dafür, dass sich Studien nicht replizieren lassen, können aber auch ganz andere sein. Dem holländischen Sozialpsychologen Diederik Stapel wurde nachgewiesen, dass er mehr als 50 Studien entweder manipuliert oder gar frei erfunden hatte. Dass das „Zurechtbiegen“ von Daten kein Einzelfall ist, zeigen Umfragen bei Psychologen. Rund ein Fünftel von ihnen gab zu, Zahlen in Richtung des gewünschten Ergebnisses gerundet oder unpassende Daten einfach ignoriert zu haben. Und selbst die Kommission, die die Vergehen von Stapel untersuchte, kam zu dem Schluss, dass zwar Forscher versuchten, die Studien zu replizieren. Als sie jedoch damit scheiterten, machten sie eher ihre eigenen unzureichenden Fähigkeiten dafür verantwortlich und akzeptierten Stapels‘ vermeintlich tolle Ergebnisse. Neues, Unerwartetes, vielleicht sogar etwas so Revolutionäres wie „Durchbrüche“ vermeldet eine Fachzeitschrift sehr viel lieber als die gelungene Wiederholung eines schon publizierten Ergebnisses. Warum also der Aufwand nur zur Bestätigung des längst Bekannten? Viel Ruhm gibt es dabei nicht zu verdienen, möglicherweise noch nicht einmal eine Veröffentlichung, wenn das Journal ein solches Manuskript als „nicht relevant“ oder „nicht genügend innovativ“ zurückweist. Kein Wunder, dass Statistiken vermelden, dass die Anzahl der „positiven“ Resultate im Laufe der letzten Jahre immer weiter zugenommen hat. Immerhin - die wissenschaftliche Psychologie hat inzwischen reagiert und versucht in einer Datenbank (PsychFileDrawer) Berichte über Wiederholungen von Studien zu sammeln, ganz gleich ob sie erfolgreich oder erfolglos verliefen.
Wenn der bildungshungrige Arzt somit einsieht, dass er sich auf Einzelstudien nur begrenzt verlassen kann, wird er sich nun folglich - wie vorgeschlagen - systematischen Reviews und Metastudien zuwenden. Doch genau da erwarten die nächsten Unsicherheiten. Eine aktuelle Publikation französischer Epidemiologen in JAMA unterlegt mit Fakten, was viele Wissenschaftler und Statistiker schon seit langem wissen: Das Ergebnis einer Metastudie hängt ganz entscheidend davon ab, welche Studien in die Analyse aufgenommen werden und entsprechend zum Gesamtergebnis beitragen. Die eingeschlossenen Studien, auch wenn sie den „Goldstandard: randomisiert und kontrolliert“ erfüllen, sind manchmal von ziemlich unterschiedlicher Qualität. Kleine und große Studien fließen gleichermaßen in die typische Metaanalyse ein. Geht man aber, wie Jesse Berlin und Robert Golub in ihrem Editorial zu obigem Artikel, davon aus, dass bei vielen RCT (randomised controlled trials) der Effekt einer Therapie überschätzt wird, so multipliziert sich das Ganze in der Metaanalyse. Agnes Deschartres und ihre Kollegen fanden bei den 163 untersuchten Metaanalysen bei knapp der Hälfte aller Studien signifikante Unterschiede, je nachdem, ob in die Analyse alle Studien oder nur die präzisesten eingingen. Solche Differenzen sahen die Autoren auch, wenn sie den Gesamtstudienpool mit einer Sammlung der größten oder derjenigen mit dem geringsten Verzerrungsrisiko („Risk of bias“) verglichen. Bei der Erstellung von Metaanalysen gibt es zwar Empfehlungen (wie etwa von der Cochrane-Gesellschaft), jedoch keine festen Regeln. Seit 2011 nimmt PROSPERO, ein Register systematischer Reviews, solche Überblicksstudien auf, die strengen Regeln entsprechen und prospektiv angemeldet werden. Damit soll ausgeschlossen werden, dass die Auswahl der jeweiligen Einzelstudien gemäß dem gewünschten Gesamtergebnis erfolgt.
Einzelstudien-Reporting oder Review? Was können nun Berichterstatter tun, um zum einen die Qualität ihrer Publikationen zu verbessern, ohne dass sie an Verständlichkeit einbüßen? „A Guide to Reading Health Care News Stories“ überschrieb Gary Schwitzer einen Artikel in „JAMA Internal Medicine“ im Juli dieses Jahres. Zwischen 2006 und 2013 hatte sein Team von HealthNewsReview rund 1.900 Medizingeschichten in öffentlichen Medien untersucht und fällte bei den meisten von ihnen in mehreren Punkten das Urteil „Ungenügend“, wenn sie nicht den Mindestansprüchen an Evidenz, Objektivität oder Inhalt genügten. Oft resultierte etwa ein Zeitungsartikel auf einer einzigen Pressemeldung oder einigen wenigen Fragen an den Professor oder Arzt. Pressestellen von Industrie oder akademischer Institution haben ein besonderes Anliegen, dass der Erfolg eines ihrer Produkte oder Mitarbeiter bekannt wird - zumeist aus ökonomischen Gründen. Um sich aber objektiv zu informieren, muss der Blick des Berichterstatters ebenso wie der des Arztes, der sein Wissen auffrischen möchte, über die einzelne Studie hinausgehen. Genauso muss er aber auch Überblicks-Publikationen kritisch hinterfragen. Medizinschreibern gibt der Wissenschaftsjournalist Alexander Mäder in der Stuttgarter Zeitung die Anregung: „Journalisten sollten seltener über aktuelle Studien berichten. Statt noch mit Sperrfrist versehene Fachartikel zu lesen und eine zweite Meinung zu den neuesten Erkenntnissen einzuholen, könnten sie mit Wissenschaftlern über das reden, was Menschen bewegt. Im Gespräch würden die Wissenschaftler natürlich Studien zitieren, aber es wären ältere Studien, die bereits in der Fachwelt diskutiert worden sind. Die Berichterstattung würde seltener durch Fachartikel ausgelöst, als vielmehr durch echtes Interesse an der wissenschaftlichen Expertise.“ Die Idee zu diesem Artikel und viele Hinweise auf Recherchequellen stammen aus dem Medizin- und Wissenschaftsblog „Plazeboalarm“.