Чтение онлайн

• Каков на самом деле тот простой вопрос, ответ на который может сделать дальнейшие измерения неактуальными? Эмили не пыталась оценить, какой эффект дает метод бесконтактного массажа и есть ли этот эффект вообще. В обсуждавшемся ранее примере с компанией Mitre я предложил ее специалистам сначала выяснить, смогут ли ее клиенты заметить хоть какое-то изменение качества исследований, и только потом рассчитывать стоимость ожидаемого повышения качества. Существуют такие базовые вопросы, ответы на которые могут избавить вас от необходимости проведения более сложных измерений. Какой вопрос вы должны себе задать, чтобы понять, необходимы ли дальнейшие усилия?

• Просто сделайте это. Не позволяйте своей озабоченности по поводу возможных неудач помешать вам приступить к каким-либо упорядоченным наблюдениям. Ведь уже первые результаты могут вас удивить и значительно снизить неопределенность, характерную для измеряемого объекта.

К настоящему моменту вы уже должны понять, что следует наблюдать и (в общих чертах) как это сделать. Теперь можно приступить к обсуждению двух категорий методов наблюдения: способов, результаты которых анализируются методами «традиционной» статистики, и метода байесовского анализа. Эти две категории охватывают практически все эмпирические методы измерения, применяемые в физике, медицине, экологии и экономике. Хотя традиционный подход распространен гораздо шире, более новый байесовский анализ обладает рядом очевидных преимуществ.

Глава 9. Выборочная реальность: как наблюдение за частью рассказывает нам о целом

Если вы хотите знать наверняка, каков процент брака в партии кирпичей, вам придется проверить каждый. А поскольку при испытаниях кирпичи подвергнутся нагрузке вплоть до разрушения, после нее не останется ни одного целого. Стремясь сохранить партию кирпичей для продажи или иного использования, мы должны проверить лишь несколько изделий — это даст информацию о всех.

Группа, сведения о которой необходимо получить (в данном случае это партия кирпичей), называется генеральной совокупностью. Изучение всех элементов группы (то есть проверка каждого произведенного кирпича) называется полным обследованием. Очевидно, что проведение полного обследования партии нецелесообразно, так как по его завершении не останется ни одного неповрежденного кирпича. Вместе с тем в других условиях полное обследование весьма обоснованно. Ежемесячная инвентаризация — это обычно именно тот случай, балансовый отчет — тоже результат полного обследования всех активов и обязательств. Бюро переписей населения США (U. S. Census Bureau) старается пересчитать всех проживающих в стране людей, хотя на практике это не вполне удается.

Но многие вещи скорее напоминают кирпичи, чем бухгалтерские операции. Существуют причины, по которым проверять, измерять, взвешивать или даже подсчитывать все элементы генеральной совокупности бывает нецелесообразно. Но мы все же можем снизить неопределенность, изучив несколько элементов этой совокупности. Любое обследование, не являющееся полным, называется выборочным. В сущности, выборка — это несколько объектов из генеральной совокупности, которые подвергаются наблюдению с целью получить информацию обо всех ее элементах.

Кого-то может удивить, что, исследуя одни объекты, мы получаем информацию о других, даже не рассматриваемых в данный момент, но ведь этим, в сущности, и занимается наука. Проводя эксперименты, мы изучаем отдельные эффекты Вселенной, изобилующей самыми разнообразными явлениями. Однако, открывая «закон», наука говорит, что он относится ко всем элементам исследуемой совокупности, а не только к тем, за которыми велось наблюдение.

Так, скорость света была определена путем выборочного обследования. И какой бы метод при этом ни применялся, он давал погрешность. Поэтому ученые измеряли скорость света неоднократно, и каждое измерение — новая выборка. Тем не менее скорость света — абсолютная константа, характеризующая и свет, отражающийся от этой страницы и попадающий вам в глаза, и свет, изучавшийся в лабораторных условиях. Полное обследование тоже может считаться выборочным, если со временем генеральная совокупность расширилась. Ведь данные полной инвентаризации, как и балансовый отчет, — всего лишь моментальная фотография.

Следующая фраза может огорчить тех, кто хочет, чтобы в мире было больше определенности: все, что мы знаем «по опыту», — не более чем выборка. Ведь на своем опыте мы испытываем не все, а только кое-что, а затем делаем обобщение. Все, что нам доступно, — лишь мимолетные образы по большей части невидимого нами мира, по которым мы и судим о том, что не можем наблюдать. Но люди уверены в выводах, которые делают на основе изучения ограниченных выборок, потому что опыт подсказывает: выборки работают! (Конечно, этот вывод сделан на основе таких же ограниченных наблюдений.)

Иногда полезные выводы обо всей обследуемой совокупности можно сделать лишь по нескольким образцам. Если мы отбираем их, чтобы установить состав однородного объекта, например делаем анализ крови на ДНК или определяем октановое число бензина, то достаточно одного образца крови или одной партии бензина. Но если элементы генеральной совокупности разнородны, как, например, рыбы в озере по размеру или затраты времени разных специалистов на ремонт компьютеров, то выборка должна быть больше — иногда существенно, хотя все же не настолько, как думают многие.

Как изучение нескольких элементов может рассказать о всей генеральной совокупности? Можно ли, отобрав 12 жителей города и спросив, как часто они ходят в кино или доверяют ли мэру, узнать что-либо о тех, кто не был опрошен? Да, можно. И такая малая выборка порой дает на удивление много информации, хотя отчасти это зависит и от того, как проведено исследование. Если мы просто опросим своих друзей или всех мужчин — клиентов парикмахерской, то данная группа, вероятно, не будет репрезентативной для всего населения и наши общие выводы окажутся ошибочными. Необходим метод, гарантирующий нас от систематического выделения однотипных выборок.

Решением этой проблемы является проведение действительно случайной выборки из интересующей нас генеральной совокупности. Осуществляя выбор случайным образом, мы обязательно получим погрешность, но погрешность, подчиняющуюся законам вероятности. Тогда можно рассчитать, например, вероятность того, что случайно выбрали демократов, проводя опрос в районе, где на самом деле преобладают республиканцы. И чем больше людей мы отберем таким случайным образом, тем меньше вероятность нерепрезентативности группы.

Если вам доводилось читать отчеты об опросах общественного мнения или научные статьи, авторы которых проводили выборку, значит, вы уже встречались с понятием «статистическая значимость». Статистическая значимость просто говорит: вы наблюдаете нечто реальное, а не произошедшее по чистой случайности. Насколько крупной должна быть выборка, чтобы получить статистически значимый результат? Достаточно ли нам опросить 1000 потребителей? Будет ли результат статистически значимым, если выборочно проверить сварку на шасси 50 автомашин или испытать действие нового лекарства на 100 пациентах?