Статистическая значимость: путь к научной славе или ловушка для исследователей?
Статистическая значимость — понятие, которое используется в науке для того, чтобы оценить, насколько вероятно, что полученные результаты не являются случайными или ошибочными. Если результаты статистически значимы, то это означает, что они достаточно надежны и воспроизводимы, и что они могут свидетельствовать о наличии какого-то интересного явления или закономерности. Статистическая значимость часто измеряется с помощью так называемого Р-значения, которое показывает, какова вероятность получить такие же или более экстремальные данные при условии, что никакого эффекта на самом деле нет. Чем меньше Р-значение, тем меньше шансов, что результаты объясняются просто случайностью.
На первый взгляд, статистическая значимость кажется очень полезным и объективным инструментом для проверки гипотез и подтверждения научных открытий. Однако в последние десятилетия все больше ученых обращают внимание на то, что статистическая значимость имеет свои недостатки и подводные камни. Во-первых, статистическая значимость не гарантирует, что результаты имеют практическую или теоретическую ценность. Например, если в эксперименте участвует очень большое количество испытуемых, то даже очень маленькие различия между группами могут оказаться статистически значимыми, но при этом не иметь никакого смысла или влияния на реальную жизнь. Во-вторых, статистическая значимость зависит от выбора уровня значимости (обычно 0.05), который является произвольным и не учитывает специфику каждого исследования. В-третьих, статистическая значимость может быть легко искажена или подделана с помощью различных приемов, таких как выборочное представление данных, манипулирование переменными, игнорирование альтернативных объяснений и т. д.
Все эти проблемы привели к тому, что в научном сообществе возникло явление, которое называется «кризисом воспроизводимости». Это означает, что многие научные результаты, которые были опубликованы в престижных журналах и получили широкую известность, не могут быть повторены другими исследователями при повторении тех же условий эксперимента. Это подрывает доверие к науке и ее авторитет в обществе. Кроме того, это ведет к потере времени и ресурсов, которые могли бы быть использованы для более полезных и качественных исследований.
Одним из первых ученых, который попытался обратить внимание на эту проблему и предложить решение, был Джеффри Лофтус, редактор журнала «Память и познание». В 1993–1997 годах он писал редакционные статьи, в которых критиковал преобладание статистической значимости в психологии и призывал исследователей использовать более простые и наглядные способы представления данных, такие как средние значения, графики и диаграммы. Он также предлагал учитывать не только статистическую, но и клиническую значимость, то есть насколько результаты имеют отношение к реальным ситуациям и проблемам. Лофтус хотел, чтобы психологи больше думали о смысле и интерпретации своих данных, а не о том, как получить желаемое Р-значение.
Лофтус советует использовать более простые и понятные подходы. Например, он предлагает отобразить прямые средние значения для сравнения групп добровольцев в психологическом эксперименте. Графики позволяют видеть, есть ли большой разброс между отдельными участниками исследования или оценки сконцентрированы вокруг среднего значения. Это позволяет исследователям оценить, например, улучшили ли добровольцы свои результаты в сложном математическом тесте, если на самом деле они сначала писали о своих мыслях и чувствах в течение 10 минут, в отличие от простого сидения в течение 10 минут.
Тем не менее, большинство исследователей продолжают акцентировать внимание на статистической значимости своих результатов.
Хотя Лофтус не был единственным, кто высказывал такие мысли, его статьи вызвали большой резонанс в научном мире. Многие согласились с его критикой и поддержали его предложения. Однако многие другие продолжали придерживаться традиционного подхода и считали, что статистическая значимость является необходимым и достаточным условием для научной достоверности. Таким образом, вопрос о том, как правильно проводить и оценивать научные исследования, остается открытым и актуальным до сих пор.
Психолог и прикладной статистик Ричард Мори из Университета Кардиффа, Уэльс, призывает исследователей пересмотреть традиционный подход к статистической значимости. Он предлагает сосредоточиться на разработке теорий ума и поведения, которые дают проверяемые прогнозы. Такой подход позволит ученым выбирать наиболее подходящие статистические инструменты для своих нужд.
— Ричард Мори.
Однако все еще многие исследователи уделяют пристальное внимание статистической значимости в надежде найти истину. Мори выражает надежду, что в будущем подход, основанный на ошибке нулевого ритуала, уступит место новым и более эффективным методам.
На первый взгляд, статистическая значимость кажется очень полезным и объективным инструментом для проверки гипотез и подтверждения научных открытий. Однако в последние десятилетия все больше ученых обращают внимание на то, что статистическая значимость имеет свои недостатки и подводные камни. Во-первых, статистическая значимость не гарантирует, что результаты имеют практическую или теоретическую ценность. Например, если в эксперименте участвует очень большое количество испытуемых, то даже очень маленькие различия между группами могут оказаться статистически значимыми, но при этом не иметь никакого смысла или влияния на реальную жизнь. Во-вторых, статистическая значимость зависит от выбора уровня значимости (обычно 0.05), который является произвольным и не учитывает специфику каждого исследования. В-третьих, статистическая значимость может быть легко искажена или подделана с помощью различных приемов, таких как выборочное представление данных, манипулирование переменными, игнорирование альтернативных объяснений и т. д.
Все эти проблемы привели к тому, что в научном сообществе возникло явление, которое называется «кризисом воспроизводимости». Это означает, что многие научные результаты, которые были опубликованы в престижных журналах и получили широкую известность, не могут быть повторены другими исследователями при повторении тех же условий эксперимента. Это подрывает доверие к науке и ее авторитет в обществе. Кроме того, это ведет к потере времени и ресурсов, которые могли бы быть использованы для более полезных и качественных исследований.
Одним из первых ученых, который попытался обратить внимание на эту проблему и предложить решение, был Джеффри Лофтус, редактор журнала «Память и познание». В 1993–1997 годах он писал редакционные статьи, в которых критиковал преобладание статистической значимости в психологии и призывал исследователей использовать более простые и наглядные способы представления данных, такие как средние значения, графики и диаграммы. Он также предлагал учитывать не только статистическую, но и клиническую значимость, то есть насколько результаты имеют отношение к реальным ситуациям и проблемам. Лофтус хотел, чтобы психологи больше думали о смысле и интерпретации своих данных, а не о том, как получить желаемое Р-значение.
Лофтус советует использовать более простые и понятные подходы. Например, он предлагает отобразить прямые средние значения для сравнения групп добровольцев в психологическом эксперименте. Графики позволяют видеть, есть ли большой разброс между отдельными участниками исследования или оценки сконцентрированы вокруг среднего значения. Это позволяет исследователям оценить, например, улучшили ли добровольцы свои результаты в сложном математическом тесте, если на самом деле они сначала писали о своих мыслях и чувствах в течение 10 минут, в отличие от простого сидения в течение 10 минут.
Тем не менее, большинство исследователей продолжают акцентировать внимание на статистической значимости своих результатов.
Хотя Лофтус не был единственным, кто высказывал такие мысли, его статьи вызвали большой резонанс в научном мире. Многие согласились с его критикой и поддержали его предложения. Однако многие другие продолжали придерживаться традиционного подхода и считали, что статистическая значимость является необходимым и достаточным условием для научной достоверности. Таким образом, вопрос о том, как правильно проводить и оценивать научные исследования, остается открытым и актуальным до сих пор.
Психолог и прикладной статистик Ричард Мори из Университета Кардиффа, Уэльс, призывает исследователей пересмотреть традиционный подход к статистической значимости. Он предлагает сосредоточиться на разработке теорий ума и поведения, которые дают проверяемые прогнозы. Такой подход позволит ученым выбирать наиболее подходящие статистические инструменты для своих нужд.
Статистика помогает нам сомневаться в том, что мы видим
— Ричард Мори.
Однако все еще многие исследователи уделяют пристальное внимание статистической значимости в надежде найти истину. Мори выражает надежду, что в будущем подход, основанный на ошибке нулевого ритуала, уступит место новым и более эффективным методам.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...