Hechos nutricionales erróneos

La alimentación saludable es un tema complicado. Incluso con las mejores intenciones de los investigadores puede existir mucha confusión sobre "la mejor dieta" y las mejores formas de conseguir que alguien siga esa dieta. Por eso siempre debes abordar los 'hechos nutricionales' con cautela. Si los científicos manipulan cifras o las controlan mal, la cosa no mejora. Como se ha vuelto a demostrar recientemente.

Un caso tipo Stapel

¿Te suena todavía el nombre Diederik Stapel? El profesor de Tilburg Universiteit fue despedido en 2011 por inventar datos [1]. En una entrevista posterior lo justificó diciendo que quería crear claridad en el caos de los datos. Los datos "no deseados" de asistentes se borraban, las cifras se exageraban o se inventaban [2]. Esto generó efectos llamativamente grandes en sus estudios, resultados que parecían demasiado buenos para ser verdad, y lo eran. A menudo son los estudios que muestran un gran efecto los que llegan al público general. O estudios que pueden tener utilidad práctica directa en nuestra vida diaria. O simplemente estudios que dan para un buen título, tanto académico como encima de un artículo.

Recientemente se descubrió otro "caso tipo Stapel". Una investigación que hizo que personas de todo el mundo pegaran pegatinas de personajes de dibujos animados en manzanas resultó ser una de muchas con cifras dudosas e incorrectas.

¿Una manzanita de Elmo o una galleta?

En 2012, un estudio realizado por investigadores de Cornell recibió muchísima atención [1]. Los investigadores se preguntaban si un branding inteligente podía lograr un almuerzo escolar más saludable. Según el estudio, existía una forma sencilla de hacer que niños de 8 a 11 años eligieran una manzana en lugar de una galleta: pegar una pegatina de un personaje popular en la manzana. En el caso del estudio, Elmo de Barrio Sésamo.

Los resultados fueron publicados por JAMA Pediatrics[3]. Fue una de las publicaciones que contribuyó al reconocimiento y la carrera del lead author Brian Wansink, director del Cornell Food and Brand Lab. Antes de la intervención, es decir, pegar las pegatinas, el 20,7% de los niños eligió una manzana y el 80% la galleta. Cuando los investigadores pusieron la imagen de Elmo en las manzanas, más de un tercio, 30,8%, de los niños eligió la manzana. Eso es, por supuesto, un aumento considerable por el pequeño precio de una pegatina. Sobre todo cuando pones este hallazgo y los de estudios similares disponibles en forma de libro, muchos padres están deseando probar esos métodos respaldados científicamente.

Sin embargo, si buscas la fuente de la tercera referencia, verás arriba una gran advertencia en rojo. Tras recibir preguntas críticas, la publicación en JAMA Pediatrics fue retirada. Los investigadores de Food and Brand Lab publicaron después, el 21 de septiembre, una sustitución en la que abordaban los errores de la publicación original.

Resultó, por ejemplo, que se había descrito mal cómo podían elegir los niños y qué se comparaba: Elmo en la manzana, Elmo en la galleta o una pegatina desconocida. Los números de participantes estaban mal anotados y los cálculos estadísticos utilizados debían explicarse porque se habían realizado de forma distinta a la habitual. Pero por lo demás todo estaba correcto en el estudio, afirmó el director Wansink:

Confirmamos que no hay otros errores u omisiones en el artículo original.

Y entonces fue cuando se volvió realmente vergonzoso.

El 20 de octubre, el artículo fue retirado por completo. Se había descubierto otro 'pequeño' error: el estudio no se había realizado con niños de 8 a 11 años, sino con niños de 3 a 5 años [5,6]. La mayoría de los padres confirmarán que eso es una diferencia bastante considerable.

","link":"krachttraining-voor-kinderen/","selectedPost":4197} /-->

P-hacking, ciencia al revés

Brian Wansink también es llamado "the Sherlock Holmes of food". Ha coescrito más de 200 publicaciones científicas y ha sido citado más de 2800 veces. No exactamente un cualquiera, pensarías. Sin embargo, a principios de este año otros investigadores descubrieron discrepancias en algunos de sus estudios. Los números no cuadraban, como por ejemplo el número de participantes mencionado en distintos estudios basados en el mismo conjunto de datos.

Wansink había desafiado a un estudiante a sacar más partido de un conjunto de datos que a él mismo no le había dado 'nada'. Wansink tenía la hipótesis de que las personas comen menos en un buffet libre cuando es más barato. Sin embargo, según sus datos, no había diferencia. "Qué pena esos datos", pensó Wansink. Todos esos costes realizados para recopilar información en un restaurante italiano. Después dejó que un estudiante trabajara con los datos. "El plan A no funcionó, quizá los planes B, C y D sean una opción" (sus palabras, no las mías [4]). En realidad, Wansink dice: "Tenía una hipótesis y para demostrarla he invertido tiempo, dinero y esfuerzo en una investigación. Ahora resulta que mi hipótesis no es cierta y en realidad he desperdiciado ese tiempo, dinero y esfuerzo".

Aquí, en mi opinión, Wansink se equivoca. Su investigación no era inútil; al fin y al cabo, demostró que no había relación. Eso es un resultado. Solo que quizá sea un resultado menos interesante para el público que una confirmación de la hipótesis.

"La pegatina de Elmo en la manzana no tiene efecto en el almuerzo de los niños" quizá recibiría poca atención. Pero "Los niños comen un 50% más sano gracias a una pegatina de Elmo", eso funciona. Así que ahora la tarea del estudiante era ver si podían confirmarse otras hipótesis con los mismos datos del restaurante italiano. Wansink no cuenta cuáles deberían ser esas hipótesis. Al parecer tenía en mente tres hipótesis alternativas, B, C y D, pero el estudiante encontró suficientes relaciones en los datos como para escribir nada menos que cinco artículos científicos en medio año.

Esto último levantó muchas cejas entre colegas. "¿Puede que aquí haya P-hacking, o data dredging, data fishing?". ¿Meterse en los datos sin una hipótesis y simplemente mirar qué relaciones aparecen para luego colgarles una conclusión? ¿También habría profundizado Wansink en los datos si su primera hipótesis se hubiera confirmado, con un valor p menor que 0,05?

"Estudios de pizza"

El restaurante italiano produjo de esa manera, entre otros, los siguientes estudios [7-10]:

1. ¿Comen más los hombres en compañía de una mujer?
2. ¿Hasta qué punto determina el precio cómo valoras una pizza que has comido, y qué porción de pizza tiene más influencia en ello?
3. Precios de buffet más bajos conducen a una menor sensación de satisfacción
4. ¿Depende el grado de culpabilidad después de comer en un buffet del precio?

Uno por uno, estudios 'blogueables'. Temas de popular science, clickbait en 500 palabras y un buen titular. En el segundo estudio, por ejemplo, la conclusión era que tu valoración de una pizza de 4$ depende sobre todo de la última porción que pruebas. En una pizza de 8$, dependería justamente de tu valoración de la última porción. Ese tipo de ciencia que mejora el mundo, obtenida de Aiello’s Pizza Emporium en Nueva York.

En estos cuatro estudios, investigadores de las universidades de Leiden y Groningen, entre otros, encontraron nada menos que 150 inconsistencias [11].

Manzanita Elmo, leyenda urbana

Al igual que anteriores malas prácticas en los Países Bajos con tesis finales, esto muestra la necesidad de peer reviews sólidas. Igual que el caso de Diederik Stapel, demuestra que también los nombres reconocidos necesitan esos controles estrictos. Este tipo de asuntos son, por supuesto, muy dañinos para la ciencia. Más aún en un campo donde el comercio gasta miles de millones para influir en nosotros. Donde la industria alimentaria depende de grandes presupuestos de marketing, la ciencia depende de su reputación. Ahí no nos sirven ni manzanitas Elmo ni leyendas urbanas.

Referencias

1. rtlnieuws.nl/economie/valse-data-hoogleraar-diederik-stapel-uit-tilburg-ontslagen
2. rtlnieuws.nl/nieuws/binnenland/de-acht-opvallendste-bevindingen-van-het-stapel-onderzoek
3. Wansink B, Just DR, Payne CR. Can Branding Improve School Lunches?. Arch Pediatr Adolesc Med.2012;166(10):967–968. doi:10.1001/archpediatrics.2012.999
4. retractionwatch.com/2017/02/02/backlash-prompts-prominent-nutrition-researcher-reanalyze-multiple-papers/
5. buzzfeed.com/stephaniemlee/who-really-ate-the-apples-though?utm_term=.jq3ZpWDa4#.ukLwkYgO6
6. jamanetwork.com/journals/jamapediatrics/fullarticle/2659568
7. Just, D. R., Sı ̆gırcı, ̈O., & Wansink, B. (2014). Lower buffet prices lead to less taste satisfaction.Journal of SensoryStudies,29(5), 362–370. doi:10.1111/joss.121172.Just, D. R., Sı ̆gırcı, ̈O., & Wansink, B. (2015).
8. Peak-end pizza: Prices delay evaluations of quality.Journal ofProduct & Brand Management,24(7), 770–778. doi:10.1108/jpbm01-2015-08023.Kniffin, K. M., Sı ̆gırcı, ̈O., & Wansink, B. (2016).
9. Eating heavily: Men eat more in the company of women.Evolutionary Psychological Science,2(1), 38–46. doi:10.1007/s40806-015-0035-34.Sı ̆gırcı, ̈O., & Wansink, B. (2015).
10. Low prices and high regret: how pricing influences regret at all-you-can-eatbuffets.BMC Nutrition,1(1), 36. doi:10.1186/s40795-015-0030-
11. van der Zee T, Anaya J, Brown NJL. (2017) Statistical heartburn: An attempt to digest four pizza publications from the Cornell Food and Brand Lab. PeerJ Preprints 5:e2748v1https://doi.org/10.7287/peerj.preprints.2748v1