Заголовки о здоровье призваны привлечь наше внимание. Недавний заголовок рекламировал влияние темного шоколада на потерю веса. Звучит здорово, но в этом исследовании есть некоторые фундаментальные недостатки, которые, вероятно, делают его бесполезным.
Но эти недостатки также могут быть преимуществом, поскольку дают нам возможность провести анализ и узнать много нового об исследованиях.
Но не волнуйтесь: читать эту статью будет не слишком больно - и действительно может быть немного шоколада для похудения, если вы дочитаете до конца.
Заголовки о здоровье призваны привлечь наше внимание. Недавний заголовок рекламировал влияние темного шоколада на потерю веса. Звучит здорово, но в этом исследовании есть некоторые фундаментальные недостатки, которые, вероятно, делают его бесполезным.
Но эти недостатки также могут быть преимуществом, поскольку дают нам возможность провести анализ и узнать много нового об исследованиях.
Но не волнуйтесь: читать эту статью будет не слишком больно - и действительно может быть немного шоколада для похудения, если вы дочитаете до конца.
«Ученые говорят» не всегда является гарантией истины.
Что говорят исследования
Йоханнес Боханнон опубликовал во Внутренних архивах медицины исследование, в котором сравнивались три группы людей, сидящих на диете:
- Контрольная группа
- Низкоуглеводная группа
- Группа с низким содержанием углеводов и темным шоколадом
Эти участники придерживались назначенной им диеты в течение 21 недели. Исследователи указали, что группа с низким содержанием углеводов и группа с низким содержанием углеводов плюс шоколад потеряли больше веса, чем группа контрольная группа.
Но прежде чем вы начнете есть шоколад, нам нужно углубиться в исследование и привести в порядок небольшую часть статистики
Что такое P-значение?
Многие люди склонны замалчивать разделы результатов исследований, поскольку они изобилуют статистической терминологией, такой как «t (67)=2,1, p <,05». Но в этом статистическом отчете есть важная вещь - последняя небольшая часть с p, которая называется p-значением.
Значение p - это просто вероятность отсутствия эффекта. Если это значение мало (скажем, менее 5%), мы говорим, что что-то нашли. Точнее, но не грамматически правильно, мы говорим: «Наверное, у нас ничего нет».
Ученые часто очень гордятся своими крошечными значениями p, и вы увидите такие утверждения, как «p=0,00001». Говорить, что у нас, вероятно, ничего нет, может показаться немного устаревшим, но именно так работает этот тип тестирования. Это похоже на высказывание: «Невиновен, пока не доказана вина», но мы можем доказать свою вину, если у нас есть 5% шанс невиновности.
«Когда мы проверяем множество разных результатов, это все равно, что держать много лотерейных билетов. Есть шанс, что мы обнаружим важное открытие, которое не соответствует действительности (ложноположительный результат). Это одно из ограничений этого типа тестирования, поскольку мы делаем предположения, основанные на вероятности»
Но чем больше мы тестируем, тем больше вероятность того, что мы получим низкое значение p или значительный эффект. Это как держать лотерейный билет. Если у меня есть только один, у меня очень мало шансов на победу. Если у вас есть шестьдесят лотерейных билетов, ваши шансы на выигрыш намного выше, чем у меня. Когда мы проверяем множество разных результатов, это похоже на то, как держать много лотерейных билетов. Есть шанс, что мы найдем значительный вывод, который не является реальным (ложноположительный результат). Это одно из ограничений этого типа тестирования, поскольку мы делаем предположение, основанное на вероятности.
Исследователь статьи о шоколаде проверил огромное количество эффектов (в разные моменты времени). То есть он держал в руках сотни лотерейных билетов и обязательно должен был найти что-то значимое. Чтобы выразить это с точки зрения p-значения, если у меня есть сто тестов, в среднем пять из них будут значимыми (отсюда и 5%). Следовательно, три или четыре эффекта, которые они упоминают в статье, могут быть ложными срабатываниями.
У исследователя в этом случае были сотни лотерейных билетов, поэтому он должен был найти что-то важное.
Количество участников
Одна из первых вещей, которую молодые студенты, изучающие методы исследования, улавливают, это когда в исследовании используется небольшая выборка. Маленькие выборки по своей сути не плохи. Однако они не так точны, как большие выборки.
В небольшой выборке мы можем найти странного человека, который сильно отличается от всех остальных. Этот один человек может сбросить результаты (подумайте о человеке в вашем спортзале, который сразу преуспевает во всем). В большой выборке у вас больше шансов уравновесить экстремальных людей. Таким образом, ваши оценки будут более точными.
«Маленькие выборки сами по себе не плохи. Однако они не так точны, как большие выборки»
В исследовании шоколада есть много проблем со статистическими методами, которые слишком сложны для этой статьи. Но во-первых, они нигде в статье не упоминают размер своей выборки. Мы можем задним числом спроектировать размер их выборки, взглянув на p-значения и тип теста, который они использовали. По моим оценкам, в этом исследовании участвовало не более двадцати человек (в зависимости от того, как они разделили их на три группы).
Таким образом, один человек, возможно, руководил результатами, когда шоколадная группа стала лучше (опять же, представьте себе человека в тренажерном зале, который преуспевает независимо от того, какие упражнения он делает). Если, с другой стороны, эти результаты верны, то влияние шоколада можно будет увидеть, когда другой исследователь проведет другое исследование.
Аутизм и прививки
Мы можем увидеть аналогичную науку в отчете 1998 года в журнале Lancet о том, что прививки MMR были связаны с заболеваемостью аутизмом. В этом исследовании приняли участие только двенадцать участников, и эта корреляция между двумя не могли быть воспроизведены в более крупных исследованиях (кроме того, исходная статья была отредактирована, так как данные основного исследования были фальсифицированы). Однако это ложное срабатывание заставляет многих родителей избегать вакцинации своих детей.
К сожалению, недавнее исследование не дало убедительных аргументов в пользу ежедневного потребления шоколада.
Платные журналы
Публикация исследований - это валюта, которая оплачивает счета в научных кругах. Наличие большего количества публикаций приводит к тому, что исследователь занимает более высокое положение в пищевой цепочке в академическом отделе. Таким образом, многие «журналы» работают как бизнес, где люди платят за публикацию.
Эти журналы часто используются маргинальными онлайн-университетами, пытающимися завоевать доверие. Сравните это с ведущими журналами, где уровень отказов часто составляет 99%, и могут потребоваться месяцы (или годы), чтобы получить ответ на представленную рукопись, поскольку она проходит через несколько рецензентов. При проверке мы видим, что исследование шоколада было опубликовано в журнале с открытым доступом, в котором взимается плата за рукопись (я попытался отправить рукопись, и мне предложили метод предоплаты за 600 евро).
“Редакторы и рецензенты должны быть надзирателями, охраняющими науку. Если у нас не будет этих гарантий, то может быть опубликовано еще много второстепенных научных статей»
Я не виню журналы за наличие бизнес-модели. Однако при таком типе бизнес-модели они часто отказываются от суровости более избирательных научных журналов. Все мои рукописи прошли жесткий процесс проверки рецензентами и редакторами. Этот процесс сделал каждую статью более научно обоснованной.
Редакторы и рецензенты должны быть надзирателями, охраняющими науку. Если у нас не будет этих гарантий, то может быть опубликовано много дополнительных научных статей. В исследовании шоколада отсутствуют многие ключевые описания, которые я бы не пропустил, будь я рецензентом. Сомневаюсь, что статью рецензировали перед публикацией.
Исследование шоколада и потери веса уже отозвано.
Собери все кусочки пазла
Исследование шоколада и потери веса уже отозвано. Результаты этого исследования сомнительны по причинам, упомянутым выше, но, конечно, отзыв вызывает больше подозрений (Дж. Бохэннон - журналист, который много писал о предвзятости СМИ в научных репортажах, и, возможно, по этой причине его сняли).
Фотографии в этой статье, взятые из крупных фитнес-журналов, являются примерами того, как эти опубликованные «исследовательские» статьи можно брать и распространять без критического взгляда. Статья о шоколаде - это всего лишь один пример, но, не углубляясь в изучение, мы могли бы найти гораздо больше возмутительных заявлений, которые оказываются не такими впечатляющими при рассмотрении исходного исследования. Я предлагаю относиться к каждому заголовку со скептицизмом, а затем проверять оригинальное исследование.
“Я отношусь к каждому заголовку с долей скептицизма. Я думаю о них только как об одной части головоломки. Мне нужно собрать гораздо больше, прежде чем я смогу принять взвешенное решение»
Иногда легко всплеснуть руками и сдаться, столкнувшись со всеми противоречивыми заголовками. Я отношусь к каждому заголовку с долей скептицизма. Я думаю о них как об одном кусочке головоломки. Мне нужно собрать гораздо больше, прежде чем я смогу принять взвешенное решение. Если я соберу несколько кусочков головоломки (исследования), которые сходятся в одном элементе, я буду более уверен в результатах.
Я не хочу сбрасывать со счетов все результаты этого исследования шоколада. Тем не менее, я хотел бы увидеть аналогичные исследования, показывающие аналогичные результаты. Шоколад работает только в сочетании с низкоуглеводной диетой или работает с другими комбинациями? Нам нужно увидеть еще много кусочков головоломки, прежде чем сделать выбор.