Honig hilft bei Husten besser als Medikamente. Über dieses Ergebnis eines Reviews wird in der Presse begeistert berichtet. Anderswo wird die Studie komplett verrissen.
Gerade startet ein Hausmittel in der Wissenschaft so richtig durch: Honig hilft bei Husten besser als Medikamente – und das nicht nur bei Kindern. Die Studie mit diesem Ergebnis erschien kürzlich im renommierten Journal BMJ Evidence Based Medicine und wurde von Medizinern der Oxford University durchgeführt.
In ihr systematisches Review zogen die Forscher 14 Studien über die Wirksamkeit von Honig bei Husten im Rahmen einer Atemwegsinfektion mit ein. Das Ergebnis: Honig wirkt besser als die Standardbehandlung, speziell bei Stärke und Frequenz des Hustens. Die Presse hat begeistert darüber berichtet (zum Beispiel hier und hier nachzulesen).
Auf den ersten Blick ist methodisch an dem Review auch nicht viel auszusetzen. Die Autoren haben geeignete Ausschlusskriterien gewählt und das Biasrisiko der einzelnen Studien als überwiegend gering eingestuft. Doch schaut man sich die einzelnen Studien genauer an, dann fallen sehr schnell sehr viele Mängel auf.
Auf Twitter konnte man den User namens Health Nerd dabei beobachten, wie er die Studie komplett auseinander nimmt – Peer-Review im Schnelldurchlauf. Was hat es mit der Studie also auf sich?
Der Health Nerd, der eigentlich Gideon Meyerowitz-Katz heißt und als Epidemiologe an einer Universität in Sydney arbeitet, gibt nach erster Durchsicht der Primärstudien ein vernichtendes Zwischenfazit ab.
Im Tweet schreibt er: „Ich bin noch nicht jede Studie durchgegangen, aber jede, die ich mir angesehen habe, ist ähnlich besorgniserregend. Ich kann in dieser Analyse eigentlich keine Studie finden, die mich nicht beunruhigt.“
Ein großes Problem dieses Reviews ist die Ermittlung des Biasrisikos. Verzerrungen will man in Studien natürlich so weit es geht vermeiden, ist aber nicht immer gegeben. Deswegen beurteilt man anhand von Skalen oder Checklisten das Biasrisiko der Primärstudien. Auf potentielle Mängel sollten Autoren dahingehend immerhin hinweisen.
Als Beispiel soll der Performance Bias dienen. Dieser kann entstehen, wenn im Rahmen einer Studie gewisse Patienten besser medizinisch versorgt oder engmaschiger überwacht werden. Dies könnte z.B. vorkommen, wenn das Studienpersonal nicht verblindet ist.
Das war auch in zwei Primärstudien des Reviews der Fall. Hier wird nicht genannt, ob das Personal verblindet wurde und wie der Randomisierungsprozess der Teilnehmer aussah. Damit hätten diese Studien auch ein höheres Biasrisiko in dieser Kategorie verdient.
Im Review erscheint aber lediglich eine kleine Randnotiz im Abschnitt Strenghts and Limitations zu möglichen Verzerrungen. Das Biasrisiko ist von den Autoren für die meisten Primärstudien und in den meisten Kategorien trotzdem als gering bzw. moderat eingestuft worden.
Auch mit der Übertragung der Daten hapert es an einigen Stellen. In einem Paper ist die Rede davon, dass sich die Hustenfrequenz um 2,4 verringerte, wenn der Husten mit Honig behandelt wurde. Im Vergleich dazu steht die Reduktion um 1,6 unter der Standardbehandlung. Eine Skala von 0 (nicht vorhanden) bis 3 (häufig) diente dabei der Erfassung der Hustenfrequenz.
Hier haben sich gleich zwei Fehler eingeschlichen: Erstens beziehen sich die Zahlen in dem zugrundeliegenden Paper auf Honig plus Koffein und nicht auf Honig allein. Eine Aussage zu Honig lässt sich damit also gar nicht treffen und sollte erst gar nicht in die Ergebnisse einfließen. Zweitens ist die Berechnung im Review falsch. Die Reduktion der Hustenfrequenz liegt eigentlich bei 2,6 und nicht bei 2,4 (3,0-0,4 = 2,6). Auch in einigen Primärstudien selbst scheinen Zahlen falsch aufgerundet und Endergebnisse falsch berechnet worden zu sein, gibt der Health Nerd in seinem Tweet zu bedenken.
Problematisch ist auch der Vergleich mit der „Standardbehandlung“. Was ist die Standardbehandlung bei Husten? Einheitlich ist sie in den Primärstudien jedenfalls nicht. Verglichen wurde die Wirkung von Honig unter anderem mit Paracetamol, Hustensirup, Prednisolon, Diphenhydramin oder einfach nur Placebo. Wirkstoffe, die man bei der Auswertung lieber nicht in einen Topf werfen sollte.
Weitere Punkte, die man kritisch sehen sollte und die Aussagekraft der Ergebnisse in Frage stellt: Uneinheitliche Honig-Dosen in den Studien, unterschiedliche verwendete Honigsorten und eine geringe Stichprobengröße.
Die Autoren selbst berichten in ihrem Review von den Limitationen hinsichtlich der ausgewählten Studien, sogar das möglicherweise hohe Biasrisiko sprechen sie an. Doch das kurze Fazit des Reviews ist durchweg positiv. Die Autoren geben darin sogar eine klare Empfehlung für den Einsatz von Honig zur Symptomlinderung. Dabei ist nach Eintauchen in die Studie nur eines klar: Wir wissen über die Wirksamkeit von Honig bei Husten absolut gar nichts.
Stellt sich die Frage, wie es die Studie durch das Peer-Review-Verfahren geschafft hat, und in BMJ veröffentlicht werden konnte.
Den kompletten Tweet-Verlauf könnt ihr hier nachlesen.
Bildquelle: Sharon McCutcheon, unsplash