Falsche Ernährungsfakten

Gesunde Ernährung ist ein kompliziertes Thema. Selbst mit den besten Absichten der Forscher kann es große Unsicherheit über „die beste Diät“ und die besten Möglichkeiten geben, jemanden dazu zu bringen, eine solche Diät einzuhalten.  Daher sollten Sie „Nährwertangaben“ stets mit Vorsicht angehen. Wenn Wissenschaftler anfangen, Zahlen zu manipulieren oder schlecht zu überprüfen, wird sich die Lage nicht verbessern. Wie sich kürzlich herausstellte.

Fall Stapel

Sagt Ihnen der Name Diederik Stapel etwas? Der Professor an der Universität Tilburg wurde 2011 wegen der Fälschung von Daten entlassen [1]. In einem späteren Interview begründete er dies damit, dass er Klarheit im Datenchaos schaffen wolle. „Unerwünschte“ Daten von Assistenten wurden gelöscht, Nummern eingeschaltet und neu erstellt [2]. Dies führte zu auffallend großen Effekten in seinen Studien, Ergebnisse, die zu gut schienen, um wahr zu sein, und dies auch tatsächlich waren. Oftmals sind es Studien, die eine große Wirkung belegen, die die breite Öffentlichkeit erreichen. Oder Forschung, die in unserem täglichen Leben von direktem praktischem Nutzen sein kann. Oder einfach eine Recherche durchführen, die einen schönen Titel liefern kann, sowohl wissenschaftlich als auch über einem Artikel.

Kürzlich wurde ein weiterer „Stack-Fall“ entdeckt. Eine Studie, bei der Menschen weltweit Aufkleber mit Zeichentrickfiguren auf Äpfel klebten, erwies sich als eine von vielen mit fragwürdigen und falschen Zahlen.

Apple Elmo oder ein Keks?

Im Jahr 2012 erregte eine von Forschern der Cornell University durchgeführte Studie besondere Aufmerksamkeit [1]. Die Forscher fragten sich, ob intelligentes Branding für ein gesünderes Mittagessen in der Schule sorgen könnte. Die Untersuchung ergab, dass es eine einfache Möglichkeit gibt, Kinder im Alter von 8 bis 11 Jahren dazu zu bringen, sich für einen Apfel statt für einen Keks zu entscheiden: Kleben Sie einen Aufkleber mit einer beliebten Figur auf den Apfel. Im Fall der Elmo aus der Sesamstraße-Ermittlung.

Die Ergebnisse wurden von JAMA Pediatrics[3] veröffentlicht. Es war eine der Veröffentlichungen, die zum Bekanntheitsgrad und zur Karriere des Hauptautors Brian Wansink, des Regisseurs von, beitrugen Cornell Food and Brand Lab. Vor der Intervention (Anbringen der Aufkleber) entschieden sich 20,7 % der Kinder für einen Apfel und 80 % für den Keks. Als die Forscher die Äpfel mit dem Bild von Elmo versahen, entschieden sich mehr als ein Drittel (30,8 %) der Kinder für den Apfel. Das ist natürlich eine deutliche Steigerung, allein für den Preis eines Aufklebers. Gerade wenn man diese und ähnliche Erkenntnisse in Buchform zur Verfügung stellt, sind viele Eltern begierig darauf, die wissenschaftlich fundierten Methoden auszuprobieren.

Wenn Sie jedoch die Quelle der dritten Referenz nachschlagen, wird oben eine große rote Warnung angezeigt. Nach Erhalt kritischer Fragen wurde die Veröffentlichung in JAMA Pediatrics zurückgezogen. Die Forscher des Food and Brand Lab veröffentlichten dann am 21. September einen Ersatz, der die Fehler in der Originalveröffentlichung behebt.

Es stellte sich beispielsweise heraus, dass falsch beschrieben wurde, wie die Kinder wählen durften und was verglichen wurde (Elmo auf Apfel, Elmo auf Keks oder unbekannter Aufkleber). Es stellte sich heraus, dass die Teilnehmerzahlen falsch erfasst waren und die verwendeten statistischen Berechnungen erklärt werden mussten, da sie anders als üblich durchgeführt wurden.  Aber alles andere in der Untersuchung war korrekt, wie Direktor Wansink feststellte:

Wir bestätigen, dass der Originalartikel keine weiteren Fehler oder Auslassungen enthält.

Und dann wurde es wirklich peinlich.

Am 20. Oktober wurde der Artikel vollständig zurückgezogen. Ein weiterer „kleiner“ Fehler wurde entdeckt: Die Untersuchung wurde nicht bei 8- bis 11-Jährigen durchgeführt, sondern bei 3- bis 5-Jährigen [5,6]. Nun werden die meisten Eltern zustimmen, dass dies ein ziemlicher Unterschied ist.

P-Hacking, Wissenschaft umgekehrt

Brian Wansink wird auch „der Sherlock Holmes des Essens“ genannt. Er ist Mitautor von mehr als 200 wissenschaftlichen Publikationen und wurde mehr als 2.800 Mal zitiert. Nicht gerade ein Pfannkuchen, könnte man meinen. Anfang des Jahres entdeckten andere Forscher jedoch Unstimmigkeiten in einigen seiner Studien. Die Zahlen waren falsch, beispielsweise die angegebene Anzahl von Teilnehmern in verschiedenen Studien, die auf demselben Datensatz basierten.

Wansink hatte einen Studenten herausgefordert, mehr aus einem Datensatz herauszuholen, der ihm „nichts“ gebracht hatte. Wansink stellte die Hypothese auf, dass Menschen an einem offenen Buffet weniger essen, wenn es billiger ist. Basierend auf seinen Daten stellte sich jedoch heraus, dass es keinen Unterschied machte. „Eine Verschwendung dieser Daten“, dachte Wansink. All die Kosten, die für die Informationsbeschaffung in einem italienischen Restaurant anfallen. Dann ließ er einen Studenten beginnen, mit den Daten zu arbeiten. „Plan A hat nicht funktioniert, vielleicht sind die Pläne B, C und D eine Option“ (seine Worte, nicht meine [4]). Wansink sagt tatsächlich: „Ich hatte eine Hypothese und habe Zeit, Geld und Mühe in die Forschung investiert, um sie zu beweisen. Jetzt stellt sich heraus, dass meine Hypothese unwahr ist, und ich habe diese Zeit, das Geld und die Mühe tatsächlich verschwendet.“

Meiner Meinung nach macht Wansink hier einen Fehler. Seine Recherchen waren nicht wertlos, schließlich zeigte er, dass es keinen Zusammenhang gibt. Das ist ein Ergebnis. Es könnte für die Öffentlichkeit einfach ein weniger interessantes Ergebnis sein, als es eine Bestätigung der Hypothese wäre.

„Elmo-Aufkleber auf Apfel hat keine Wirkung oder Kinderessen“ erhält möglicherweise nicht viel Aufmerksamkeit. Aber „Kinder ernähren sich 50 % gesünder dank Elmo-Aufkleber“, das punktet. Nun besteht die Aufgabe des Studierenden darin, zu prüfen, ob sich andere Hypothesen mit denselben Daten aus dem italienischen Restaurant bestätigen lassen. Wansink sagt nicht, wie diese Hypothesen aussehen sollten. Offenbar hatte er drei alternative Hypothesen im Kopf (B, C und D), aber der Student fand in den Daten genügend Zusammenhänge, um in sechs Monaten nicht weniger als fünf wissenschaftliche Arbeiten zu verfassen.

Letzteres sorgte bei vielen Kollegen für Stirnrunzeln. „Ist das möglicherweise P-Hacking (bzw Datenbaggerung, Datenfischerei)?". Tauchen Sie ohne Hypothese in die Daten ein und sehen Sie einfach, auf welche Zusammenhänge Sie stoßen, aus denen Sie dann eine Schlussfolgerung ziehen können? Hätte Wansink auch tiefer in die Daten eingetaucht, wenn seine erste Hypothese bestätigt worden wäre (- Wert kleiner als 0,05)?

„Pizzastudien“

Das italienische Restaurant ergab somit folgende Studien [7-10]:

1. Essen Männer mehr, wenn sie von einer Frau begleitet werden?
2. Inwieweit bestimmt der Preis, wie Sie eine Pizza bewerten, die Sie essen, und welches Stück Pizza hat den größten Einfluss?
3. Niedrigere Buffetpreise führen zu einem geringeren Zufriedenheitsgefühl
4. Hängt das Schuldgefühl nach dem Buffetessen vom Preis ab?

Alle „blogfähigen“ Forschungsergebnisse. Derer Populärwissenschaft Themen, Klickbait in 500 Wörtern und eine schöne Überschrift. Die zweite Studie kam beispielsweise zu dem Schluss, dass Ihre Einschätzung einer 4-Dollar-Pizza hauptsächlich vom letzten Stück abhängt, das Sie probieren. Bei einer 8-Dollar-Pizza hängt es von Ihrer Einschätzung des letzten Stücks ab. Diese Art weltverbessernder Wissenschaft stammt von Aiello's Pizza Emporium in New York.

In diesen vier Studien fanden Forscher unter anderem der Universitäten Leiden und Groningen nicht weniger als 150 Inkonsistenzen [11]!

 Apple Elmo, Affensandwich

Genau wie frühere Missbräuche in den Niederlanden bei Abschlussarbeiten zeigt dies die Notwendigkeit gründlicher Peer-Reviews. Genau wie der Fall von Diederik Stapel zeigt es, dass auch renommierte Namen diese strengen Kontrollen brauchen. Solche Dinge sind natürlich sehr schädlich für die Wissenschaft. Besonders in einem Bereich, in dem der Handel Milliarden ausgibt, um uns zu beeinflussen. Während die Lebensmittelindustrie auf große Marketingbudgets angewiesen ist, ist die Wissenschaft auf ihren Ruf angewiesen. Wir können dazu keine Elmo-Äpfel oder Affensandwiches verwenden.

Referenzen

1. rtlnieuws.nl/economie/valse-data-professor-diederik-staple-uit-tilburg-ontslagen
2. rtlnieuws.nl/nieuws/binnenland/de-acht-opvangendste-bevindingen-van-het-stap-onderzoek
3. Wansink B, Just DR, Payne CR. Kann Branding das Mittagessen in der Schule verbessern? Arch Pediatr Adolesc Med.2012;166(10):967-968. doi:10.1001/archpediatrics.2012.999
4. Retractionwatch.com/2017/02/02/backlash-prompts-prominent-nutrition-researcher-reanalyze-multiple-papers/
5. Buzzfeed.com/stephaniemlee/who-really-ate-the-apples-though?utm_term=.jq3ZpWDa4#.ukLwkYgO6
6. jamanetwork.com/journals/jamapediatrics/fullarticle/2659568
7. Just, D. R., Sı ̆gırcı, ̈O., & Wansink, B. (2014). Niedrigere Buffetpreise führen zu einer geringeren Geschmackszufriedenheit.Journal of SensoryStudies,29(5), 362-370. doi:10.1111/joss.121172.Just, D. R., Sı ̆gırcı, ̈O., & Wansink, B. (2015).
8. Spitzenpizza: Preise verzögern Qualitätsbewertungen.Journal ofProduct & Markenmanagement,24(7), 770-778. doi:10.1108/jpbm01-2015-08023.Kniffin, K. M., Sı ̆gırcı, ̈O., & Wansink, B. (2016).
9. Starkes Essen: Männer essen mehr in Gesellschaft von Frauen.Evolutionary Psychological Science,2(1), 38-46. doi:10.1007/s40806-015-0035-34.Sı ̆gırcı, ̈O., & Wansink, B. (2015).
10. Niedrige Preise und großes Bedauern: Wie die Preisgestaltung das Bedauern bei All-you-can-eat-Buffets beeinflusst.BMC Nutrition,1(1), 36. doi:10.1186/s40795-015-0030-
11. van der Zee T, Anaya J, Brown NJL. (2017) Statistisches Sodbrennen: Ein Versuch, vier Pizza-Veröffentlichungen des Cornell Food and Brand Lab zu verdauen. PeerJ-Preprints 5:e2748v1https://doi.org/10.7287/peerj.preprints.2748v1