Чтение онлайн

Почему люди предпочитают ложное впечатление точности ошибке случайной выборки, поддающейся количественной оценке? Как я обнаружил, нередко это происходит потому, что они путают ошибку одной выборки с ошибкой всего исследования. Да, в нашем примере с торговыми представителями в какие-то моменты вы могли обнаружить, что кто-то занят нетипичной, нерепрезентативной деятельностью, вовсе не характерной для всей группы, например готовится к командировке, хотя обычно почти никуда не ездит. Если бы мы выбрали именно этого человека и опросили его всего один раз, то вряд ли узнали бы что-то полезное о том, на что он тратит свое рабочее время. Но если 25 из 100 торговых представителей, опрошенных неоднократно, действительно готовятся к командировке, то можно не сомневаться, что весь торговый персонал тратит на это, в среднем, 25 % своего времени, и простейшие расчеты из главы 9 показывают, что 90-процентный доверительный интервал для этого показателя составляет 18–32 %. Из ненадежности результата одной выборки люди делают вывод, что в случае нескольких случайных выборок их ошибки не устраняются путем компенсации, а суммируются.

Ошибку, не исключаемую путем усреднения (систематическую ошибку), называют также отклонением, или смещением. Исследования в области психологии принятия решений и эмпирических наук в целом расширяют перечень возможных типов отклонения чуть ли не каждый год. Но есть три основных типа, которые можно ожидать при проведении измерений: отклонение ожидания, отклонение выбора и отклонение наблюдателя.

ВИДЫ ОТКЛОНЕНИЙ ПРИ НАБЛЮДЕНИЯХ

Смещение ожидания — принятие желаемого за действительное. Наблюдатели и испытуемые порой намеренно или ненамеренно видят именно то, что хотят. Люди доверчивы и склонны к самообману. Когда проводятся клинические испытания лекарств, пациенты не знают, кто принимает лекарство, а кто — плацебо. Это упомянутое выше испытание вслепую. Если принимающие лекарство не известны ни пациентам, ни врачам, то это двойное испытание вслепую. Еще один пример испытания вслепую — подход, предложенный мною Mitre Corporation (см. главу 3).

Смещение выбора. Выборка, планировавшаяся как случайная, может оказаться неслучайной. Если мы отберем 500 участников голосования, 55 % из которых скажут, что проголосуют за кандидата А, то возникает большая, а точнее, 98,8-процентная вероятность того, что этот кандидат действительно пользуется наибольшей поддержкой населения. Есть только 1,2-процентная вероятность того, что мы случайно отобрали слишком много людей, поддерживающих А, который на самом деле далеко не любимец народа. Но подразумевается, что выборка была случайной и мы не стремились к отбору сторонников одного кандидата. А если отбор осуществляется, например, путем опроса прохожих в деловом районе города, на определенной улице, где расположено много финансовых учреждений, то, скорее всего, все опрошенные избиратели окажутся определенного типа, даже если вы выбирали их наугад.

Ошибка наблюдателя (или искажение Гейзенберга и Хоторна). Субатомные частицы и люди имеют нечто общее: наблюдение заставляет их менять свое поведение. В 1927 г. физик Вернер Гейзенберг вывел формулу, которая показала, что нашим знаниям о положении и скорости движения частицы есть предел. Наблюдая за частицами, мы на них воздействуем (например, направляем пучок света), что заставляет их менять свою траекторию. В том же году началась реализация научно-исследовательского проекта на заводе Western Electric Company в Хоторне (штат Иллинойс). Первоначально им руководил профессор Элтон Мэйо из Гарвардской школы бизнеса, преследуя цель определить влияние условий на производительность труда рабочих. Исследователи меняли уровень освещенности, влажность, график работы и т. д., чтобы определить, при каких условиях рабочие будут работать лучше всего. К своему удивлению, они обнаружили, что производительность труда растет независимо от изменения условий труда. Рабочие работали лучше просто потому, что знали, что за ними наблюдают; или, возможно, предположили исследователи, положительную реакцию вызвало то, что руководство обратило на них внимание. В любом случае, мы не можем больше считать, что наши исследования показывают нам «реальный» мир, если не постараемся компенсировать эффект, оказываемый наблюдениями на изучаемый объект. Простейший выход из положения — проводить наблюдения в тайне от испытуемых.

Выберите или разработайте нужный инструмент

После разложения объекта измерения на составляющие, установления порядка наблюдения за этими составляющими, выбора уровня снижения неопределенности (лишь настолько, насколько это необходимо) и учета основных типов ошибок можно считать, что нужный инструмент оценки практически у вас в руках. Одни только ответы на приведенные ранее вопросы должны были сделать для вас метод измерения более очевидным.

Итак, чтобы выбрать нужный инструмент измерения, необходимы следующие этапы.

1. Разложите интересующий вас объект на составляющие так, чтобы их можно было оценить по другим измерениям. Некоторые составляющие оценивать легко, а иногда само разложение уже достаточно снижает неопределенность.

2. Проведите вторичные исследования своих результатов. Узнайте, как подобные объекты измерялись до вас. Даже если итоги других исследователей далеки от ваших проблем, нельзя ли воспользоваться их методами?

3. Примените к одному или нескольким составляющим объекта измерения один или более методов наблюдения (выявление оставленного следа, прямое наблюдение, наблюдение с помощью «меток» или проведение эксперимента). Придумайте, по крайней мере, три способа их обнаружения и затем действуйте, как настоящий следователь. Если это не удается, попробуйте прямое наблюдение. Если и это оказалось безрезультатным, пометьте свой объект или внесите в него другие изменения, чтобы хотя бы потом он начал оставлять поддающиеся обнаружению следы. Если и этот случай оказался безуспешным, воспроизведите событие специально для того, чтобы за ним можно было понаблюдать (проведите эксперимент).

4. Постоянно помните о правиле «Не измеряйте точнее, чем нужно». Ну зачем вам высокая точность, если вы хотите, например, только удостовериться, что рост производства оправдает сделанные инвестиции? Не забывайте о стоимости информации: низкая стоимость означает, что и затраты на проведение измерений должны быть низкими; а высокая стоимость информации означает, что вы можете не экономить на расходах. Помните и о том, с какого уровня неопределенности вы начинали. Если сначала этот уровень был очень высок, то сколько наблюдений вам потребуется, чтобы снизить его?

5. Учитывайте ошибки, специфичные для данной задачи. Если несколько экспертов оценивают качество работы, помните о смещении ожидания и проведите испытания вслепую. Если нужно сделать выборку, проследите за тем, чтобы она действительно была случайной. Если сам факт проведения наблюдений может повлиять на результат, найдите способ скрыть эту информацию от наблюдаемых.

Но если вы и теперь не сумели выбрать себе инструмент измерения, воспользуйтесь следующими советами, приведенными в произвольном порядке. Некоторые из них вам уже известны, но все они вполне заслуживают повторения.

• Работайте с последствиями. Что вы увидите, если интересующий вас показатель сильно повысится? Что произойдет, если он заметно упадет? В примере из главы 2 юная Эмили рассудила: раз целители с помощью бесконтактного массажа действительно могут делать то, что утверждают, значит, они должны, по меньшей мере, обнаруживать ауру человека. Оценивая качество, мы можем исходить из того, что с его повышением сокращается число жалоб от потребителей. Решая, стоит ли устанавливать новое программное обеспечение для отдела сбыта, мы должны спросить себя: «Если эта информационная система так хороша, как говорят, и действительно позволяет продавать больше, то почему же объемы реализации в тех фирмах, которые ею пользуются, пошли вниз?»

• Представьте себе, как это сделали бы другие. Посмотрите на свою задачу глазами криминалиста, детектива, психолога-экс-периментатора, палеонтолога, библиотекаря, военного разведчика, журналиста. Преодолейте свою профессиональную «за-шоренность» и обратите внимание на другие, нестандартные для вашей отрасли методы измерения.

• Пусть ваши измерения будут итеративными. Не пытайтесь сразу и полностью устранить неопределенность в ходе одного гигантского исследования. Начните с нескольких наблюдений и пересчитайте стоимость информации. Возможно, вы измените прежний план проведения измерений.

• Используйте многосторонние подходы. Если какая-то составляющая объекта измерения не поддается наблюдению одним способом, воспользуйтесь другим. Возможностей у вас много. Хорошо, если сработал первый же метод измерения. Но в некоторых случаях мне приходилось измерять свой объект тремя разными способами, и лишь на третий раз я получал желаемое.

Уверены ли вы, что проверили пригодность всех имеющихся методов? Если не удается оценить одну из составляющих переменной, нельзя ли измерить другую?