Достаточно шуток. Успокойтесь, коллеги. Нам предстоит многое обсудить. Сегодня, прежде всего, приношу свои искренние извинения за то, что не могу присутствовать лично. Обстоятельства выше моего контроля, и мне очень жаль, что я не с вами. Тем не менее, работа будет продолжаться бесперебойно. Сегодня мы поговорим об оценке научных данных.
Как часто вы сталкивались в спорах или дискуссиях, или при просмотре видео, когда кто-то заявляет: «Вот исследование, которое абсолютно доказывает X, Y или Z"? Обычно это сопровождается скриншотом первой страницы статьи, возможно, с выделенным фрагментом аннотации, вырванным из контекста. И это всё, что вам показывают, чтобы подтвердить их точку зрения. Возникает вопрос: как на это реагировать? Сегодня мы рассмотрим именно это. Я предложу вам пять вопросов, которые можно задать любому, кто ссылается на исследования или утверждает, что «исследования показывают» или «подавляющие доказательства указывают на X, Y или Z".
Итак, давайте зададим эти пять вопросов.
Является ли это исследование контролируемым экспериментом, проведённым в метаболическом стационаре, с участием людей?
Если ответ на этот вопрос отрицательный, то любое обсуждение причинно-следственных связей можно прекращать. Единственный способ установить причинно-следственную связь — это экспериментальный путь. Если вам показывают работу, основанную на ассоциациях, а не на эксперименте, то аргумент, претендующий на причинно-следственную связь, считается проигранным.
Таким образом, если исследование не соответствует этому критерию, нет необходимости задавать следующие вопросы. Если же это исследование, проведённое в метаболическом стационаре, тогда мы переходим ко второму вопросу.
Указывает ли исследование свою статистическую мощность?
Иногда в научных работах обсуждаются расчёты мощности, что является важным моментом. Во-первых, если в статье не описана её статистическая мощность, то обсуждение прекращается, даже если это исследование в метаболическом стационаре с участием людей.
Работа должна содержать информацию о своей статистической мощности. Во-вторых, если вы лично не способны выполнить расчёты мощности, имея только необработанные данные из статьи, то вы не квалифицированы для публичного обсуждения научных данных. Это абсолютно критически важная часть оценки достоверности научного исследования. Существует математический аппарат, необходимый для статистического определения мощности данного набора данных, и если вы не можете выполнить этот расчёт самостоятельно, вам не следует публично обсуждать науку.
Это может быть непопулярным мнением, но это так. Если у меня прорвало водопроводную трубу, я вызову сантехника, а не электрика или бухгалтера. Сантехники разбираются во всех аспектах водопровода, это их квалификация. Компетентные учёные умеют выполнять расчёты мощности, и именно им следует поручать публичное обсуждение науки, а не тем, кто этого не может. Для тех, кто хочет знать, статистическая мощность — это единица минус вероятность ошибки типа II (бета-ошибка). Для выполнения всех этих расчётов, вероятно, потребуется несколько семестров обучения.
Если исследование указывает свою статистическую мощность, тогда возникает следующий подвопрос: какова должна быть мощность? Она должна быть выше 0,8. Если это не так, мы снова заканчиваем. Однако, чтобы дать вам полную информацию, мы продолжим рассматривать остальные вопросы.
Сообщает ли исследование о воспроизводимости измерений?
Если нет, то мы заканчиваем. Если да, то следующим вопросом будет: каков коэффициент внутриклассовой корреляции? Опять же, если вы не можете самостоятельно рассчитать коэффициент внутриклассовой корреляции для повторных измерений одной и той же переменной данных в одной и той же группе лиц, то вы не квалифицированы для публичного обсуждения науки и не должны этого делать.
Приведу пример. В исследовании, в котором я участвовал несколько лет назад вместе с несколькими другими профессорами, мы оценивали воспроизводимость измерения концентрации лактата в крови у велосипедистов при заданной рабочей нагрузке на велоэргометре. Почему? Потому что существуют концепции «лактатного ответа» и «лактатного порога», которые, как предполагается, физиологи могут измерять у спортсменов и на основе этих измерений устанавливать тренировочные зоны для оптимизации их подготовки.
Всё это, конечно, ложно, бессмысленно и в высшей степени антинаучно, хотя бы по одной причине. Вот что мы обнаружили в нашем исследовании: 12 велосипедистов приходили в лабораторию по меньшей мере шесть раз в течение шести недель, в один и тот же день недели, в одно и то же время суток, после того как съедали тот же завтрак. Мы максимально стандартизировали все условия. Затем мы заставляли их работать на велоэргометре, измеряя лактат крови в покое до начала тренировки, а затем при 50, 100, 150, 200 ваттах и так далее, до момента произвольного истощения. Мы повторяли это шесть или семь раз.
Расчёт мощности показал, что 12 спортсменов было достаточно. Мы обнаружили, что изменчивость измерения концентрации лактата в крови при заданной рабочей нагрузке и в покое была настолько велика не между разными индивидуумами, а внутри одного и того же человека при повторных тестах. Изменчивость была настолько дикой, что сигнал был окружён таким шумом, что сам по себе становился бесполезным. Чтобы обнаружить разницу в ответе после тренировки, тренировочный эффект должен был быть настолько колоссальным, что он был бы совершенно нереалистичен для любого спортсмена.
Это исследование не пользовалось популярностью у производителей анализаторов лактата крови, но в итоге оно было опубликовано благодаря профессору Тиму Ноуксу, который ознакомился с ним и дал своё согласие. Таким образом, если исследование не сообщает о воспроизводимости измерений, или если вы измеряли, например, концентрацию ЛПНП (липопротеинов низкой плотности), но не указали, сколько раз и при каком контроле в течение какого периода времени, то мы заканчиваем. Нам не нужны последние два вопроса.
Тем не менее, я всё равно представлю их вам.
Каково отношение сигнал/шум?
Если вы не можете самостоятельно рассчитать это отношение, то не должны публично обсуждать науку. Отношение сигнал/шум применимо и к измерениям внутри одного индивидуума. Если вы понимаете, что разница между измерениями лактата в крови у одного и того же спортсмена в любую неделю, при прочих контролируемых условиях, крайне изменчива, то какова, по вашему мнению, будет изменчивость между разными индивидуумами? Она будет ещё более дико изменчивой.
Следовательно, сигнал — среднее значение для набора данных, которое приводится в научной работе — имеет огромную погрешность. Это означает, что его ценность, прогностические и предсказательные способности, то есть всё, что связано с этим усреднённым числом, которое вам просто дают, — не имеет смысла, если не указано, какова была погрешность (плюс-минус), какова была стандартная ошибка измерения или стандартное отклонение. Если вы лично не способны преобразовывать стандартную ошибку в стандартное отклонение и понимать их значение, то вы не компетентны публично говорить о науке.
Итак, каково отношение сигнал/шум? Дайте мне это число.
Если исследование соответствует всем предыдущим критериям, покрывает ли оно тот период времени, на который делаются выводы?
Часто люди, представляющие научные работы, делают выводы о долгосрочных последствиях для здоровья, охватывающих десятилетия. Они утверждают, что некий элемент в вашем рационе приведёт к развитию определённого заболевания со временем.
Но может ли их исследование, даже если оно является должным образом контролируемым экспериментом в метаболическом стационаре, с необходимой мощностью, соотношением сигнал/шум и воспроизводимостью, действительно подтвердить такие многолетние прогнозы? Даже если мы дошли до этого пятого вопроса, мы часто обнаруживаем, что выводы исследования, сделанные на основе нескольких недель наблюдений, действительны только для этого периода. Такое исследование не может предсказывать, что произойдёт через несколько недель и один день, или через месяц, или через несколько месяцев, или год, или несколько лет, или даже десятилетие.
Вы не можете экстраполировать результаты исследования за пределы его собственного срока проведения. Эти пять вопросов помогут вам эффективно противостоять аргументам, основанным на неполных или неверно интерпретированных научных данных. Как только оппонент поймёт, что он столкнулся с человеком, глубоко разбирающимся в теме, его необоснованные утверждения обычно прекращаются. Проблема публичного обсуждения науки или попытки заниматься ею, не обладая достаточной компетенцией, может привести к серьёзным неприятностям. Поэтому важно всегда критически подходить к информации и владеть методами её оценки.
