Чтение онлайн

На этом этапе нам следует уяснить, что статистический вывод использует данные для получения ответов на важные вопросы. Эффективно ли новое лекарство, предназначенное для лечения заболеваний сердца? Являются ли мобильные телефоны причиной развития раковых опухолей мозга? Обратите внимание: я вовсе не утверждаю, что статистика может ответить на такие вопросы однозначно. Статистический вывод говорит лишь о том, что вполне вероятно, а что – маловероятно или даже крайне невероятно. Исследователи не могут утверждать, что новое лекарство, предназначенное для лечения заболеваний сердца, действительно эффективно, даже располагая результатами его надлежащим образом проведенных клинических испытаний. В конце концов, вполне возможно, что при лечении пациентов в подопытной и контрольной группах появится случайное отклонение, никак не связанное с новым препаратом. То, что у 53 из 100 пациентов, принимающих это лекарство, наметилось существенное улучшение состояния здоровья, тогда как в группе пациентов, принимающих плацебо, такая картина наблюдается у 49 пациентов из 100, не дает нам права безапелляционно заявлять об эффективности нового препарата. Такой исход можно объяснить случайным отклонением между двумя группами пациентов, а вовсе не действием нового лекарства.

Допустим, однако, что у 91 из 100 пациентов, принимающих новое лекарство, произошло существенное улучшение состояния здоровья, тогда как в контрольной группе здоровье значительно улучшилось только у 49 из 100 пациентов. Конечно, и на сей раз не исключено, что столь впечатляющий результат никак не связан с приемом нового препарата; возможно, пациентам в подопытной группе просто улыбнулась удача (а может, все дело в их жизнелюбии и оптимизме). Однако в данном случае такое объяснение из разряда маловероятных. На формальном языке статистического вывода, исследователи, скорее всего, заключили бы следующее. 1) Если бы экспериментальное лекарство никак не сказывалось на состоянии пациентов, то столь сильное отклонение в исходах между теми, кто его принимает, и теми, кто принимает плацебо, явилось бы большой редкостью. 2) Поэтому крайне маловероятно, что препарат не оказывает положительного воздействия на состояние пациентов. 3) Альтернативное – и более вероятное – объяснение полученной нами картины заключается в том, что экспериментальное лекарство оказывает положительный эффект.

Статистический вывод – это процесс, посредством которого данные позволяют нам делать обоснованные заключения. Именно в этом его достоинство! Задача статистики не в выполнении огромного множества строгих математических расчетов, а в том, чтобы помочь нам лучше разобраться в важных социальных (и не только) явлениях. Статистический вывод – это, по сути, союз двух уже обсуждавшихся нами концепций: данных и вероятности (с определенной помощью со стороны центральной предельной теоремы). В настоящей главе я воспользовался одним значимым методологическим упрощением: все приведенные мною примеры предполагают, что мы используем большую, надлежащим образом сформированную выборку. Это предположение означает возможность применения центральной предельной теоремы и то, что среднее значение и среднеквадратическое отклонение для любой выборки будет примерно таким же, как среднее значение и среднеквадратическое отклонение для совокупности, из которой она сформирована. Оба допущения делают наши расчеты проще.

Статистический вывод не зависит от этого упрощающего предположения, но систематизированные методологические уточнения, позволяющие работать с малыми выборками или неполными данными, зачастую лишь препятствуют пониманию общей картины. Цель в данном случае – сделать так, чтобы читатель смог оценить важность и богатые возможности статистического вывода, а также механизм его действия. После того как вы уясните это, можно переходить на более высокий уровень сложности.

Одним из самых распространенных инструментов в статистическом выводе является проверка гипотез. Фактически я уже знакомил вас с этой концепцией – правда, не прибегая к использованию заумной терминологии. Как указывалось выше, сама по себе статистика не может ничего доказать; вместо этого мы применяем статистический вывод, чтобы принимать или отвергать объяснения на основе их вероятности. Точнее говоря, любой статистический вывод начинается с подразумеваемой или явно сформулированной основной (так называемой нулевой) гипотезы. Это наша начальная гипотеза, которая будет отвергнута или принята исходя из последующего статистического анализа. Если мы отвергаем нулевую гипотезу, то, как правило, принимаем какую-то альтернативную гипотезу, которая в большей степени соответствует наблюдаемым нами данным. Например, исходным предположением (или основной гипотезой) в суде является невиновность подсудимого (так называемая презумпция невиновности). Задача обвинения – убедить судью или присяжных в необходимости отклонить это предположение и принять альтернативную гипотезу, что подсудимый виновен. С точки зрения логики альтернативная гипотеза представляет собой заключение, которое должно быть истинным, если мы можем опровергнуть основную гипотезу. Рассмотрим несколько примеров.

Нулевая гипотеза: новый экспериментальный препарат не более эффективен для профилактики малярии, чем плацебо.

Альтернативная гипотеза: новый экспериментальный препарат способствует профилактике малярии.

Данные: члены случайным образом сформированной группы будут принимать новое экспериментальное лекарство, а контрольная группа будет принимать плацебо. По окончании определенного периода в группе, принимавшей новый препарат, было зафиксировано значительно меньше случаев заболевания малярией, чем в контрольной группе. Это было бы крайне маловероятно, если бы новое экспериментальное лекарство не оказывало медицинского воздействия. Таким образом, мы отвергаем нулевую гипотезу, что новый препарат не имеет медицинских последствий (конечно же, помимо известного эффекта плацебо), и принимаем логическую альтернативу, то есть альтернативную гипотезу: новое экспериментальное лекарство способствует профилактике малярии.

Такой методологический подход достаточно необычен, поэтому приведу еще один пример. Опять же обратите внимание, что нулевая и альтернативная гипотезы логически дополняют друг друга. Если одна оказывается истинной, то другая таковой не является. Или если мы отвергаем одну гипотезу, то должны принять другую. Теперь еще один пример.

Нулевая гипотеза: лечение заключенных от наркозависимости не снижает вероятности их повторного ареста после выхода из тюрьмы.

Альтернативная гипотеза: лечение заключенных от наркозависимости снижает вероятность их повторного ареста после выхода из тюрьмы.

Данные (гипотетические): заключенных случайным образом разделили на две группы, «подопытная» группа проходила курс лечения от наркозависимости, а контрольная группа – нет. Через пять лет оказалось, что вероятность повторного ареста членов обеих групп примерно одинакова. То есть в этом случае мы не можем отвергнуть нулевую гипотезу [43] . Эти данные не дают нам повода отклонить исходное предположение о том, что лечение заключенных от наркозависимости не спасает их от повторного попадания за решетку.

Это может показаться нелогичным, но исследователи часто формулируют нулевую гипотезу в надежде, что им удастся отвергнуть ее. В обоих приведенных выше примерах «успех» исследования (создание нового лекарства для профилактики малярии или снижение вероятности повторного ареста) подразумевал отказ от нулевой гипотезы. Сделать это на основе имеющихся данных удалось лишь в одном из случаев (лекарство для профилактики малярии).

В зале суда порогом для отмены презумпции невиновности является качественная оценка, что подсудимый «виновен ввиду разумных оснований для сомнения». Что именно означает в каждом конкретном случае такая формулировка, решает судья или присяжные заседатели. Статистика использует аналогичную основополагающую идею, но формула «виновен ввиду разумных оснований для сомнения» определяется не качественно, а количественно. Исследователи обычно спрашивают: если нулевая гипотеза истинна, то какова вероятность того, что мы наблюдаем такую картину данных по чистой случайности? Если мы воспользуемся приведенным в начале главы примером, то ученые-медики могут спросить: если это экспериментальное лекарство не способствует излечению сердечно-сосудистых заболеваний (нулевая гипотеза), то какова вероятность того, что состояние здоровья 91 из 100 пациентов, принимавших его, улучшилось, если учесть, что улучшение состояния здоровья было отмечено лишь у 49 из 100 пациентов, принимавших плацебо? Если имеющиеся в нашем распоряжении данные свидетельствуют о крайней маловероятности нулевой гипотезы (как в примере с экспериментальным лекарством), то мы должны отвергнуть ее и принять альтернативную гипотезу (о том, что экспериментальное лекарство способствует излечению от сердечно-сосудистых заболеваний).

С учетом этого давайте еще раз вернемся к скандалу, вызванному махинациями с результатами стандартизированных тестов в Атланте, о которых мы неоднократно упоминали в этой книге. Эти результаты привлекли к себе внимание контролирующих органов из-за высокого количества исправлений неправильных ответов на правильные. Понятно, что учащиеся, которым приходится сдавать стандартизованные тесты, время от времени исправляют свои ответы. Не исключено и то, что каким-то группам учащихся, прибегающих к таким исправлениям, особенно везет – и это вовсе не связано с какими-либо махинациями. Именно поэтому основная гипотеза сводится к тому, что результаты сдачи стандартизированных тестов в любом конкретном учебном округе правильны (с точки зрения закона) и что любые исправления – не более чем продукт случайного стечения обстоятельств. Мы ни в коем случае не хотим наказывать учеников, преподавателей или администраторов из-за того, что необычайно высокий процент учащихся внесли в свои листы с ответами разумные исправления, сделав это буквально за несколько минут до окончания важного государственного экзамена.

Но словосочетание «необычайно высокий» отнюдь не описывает того, что происходило в Атланте. Количество исправлений неправильных ответов на правильные в листах с ответами некоторых классов превышало норму данного штата на 20–50 среднеквадратических (стандартных) отклонений. (Чтобы было понятнее, что это означает, вспомним, что большинство наблюдений в любом распределении, как правило, отклоняется от среднего значения не более чем на два среднеквадратических отклонения.) Так какова же вероятность того, что учащимся в Атланте удалось по чистой случайности исправить столь большое количество неправильных ответов на правильные? Официальный представитель Министерства образования, который проанализировал эти данные, описал вероятность того, что картина, зафиксированная в Атланте, сложилась исключительно в силу случайного стечения обстоятельств и вовсе не является результатом махинаций, как примерно равную вероятности появления на трибунах стадиона Georgia Dome 70 000 зрителей ростом свыше семи футов {59} . Может такое случиться? Теоретически да, может. Насколько велика вероятность? Чрезвычайно мала!

Тем не менее власти штата Джорджия, столицей которого является Атланта, не смогли предъявить кому-либо обвинение в манипулировании результатами стандартизированных тестов, точно так же как мой преподаватель статистики не мог (и не должен был) вышвырнуть меня из школы только потому, что я сдал выпускной экзамен по статистике успешнее, чем промежуточный. Властям штата Джорджия не удалось доказать факт мошенничества с оценками стандартизированных тестов. Они, конечно, могли отвергнуть нулевую гипотезу, что эти результаты законны, причем «с высокой степенью уверенности» (это означало, что наблюдаемая ими картина была почти невозможной в обычных условиях), и принять альтернативную гипотезу, согласно которой результаты сдачи стандартизованных тестов в Атланте стали следствием махинаций. (В официальных документах они, наверное, использовали более дипломатичную формулировку.) В ходе дальнейшего расследования удалось выявить факты мошенничества с оценками стандартизированных тестов. В объяснительных записках преподавателями приводились факты исправления ими неправильных ответов на правильные, заблаговременного ознакомления учащихся с правильными ответами, предоставления возможности отстающим ученикам списывать правильные ответы у отличников и даже указания учителем правильных ответов в тот момент, когда он останавливался возле парты ученика. Самым вопиющим примером махинаций было исправление ответов преподавателями непосредственно во время пикника, на который они собрались после экзаменов, прихватив с собой экзаменационные работы.