Чтение онлайн

Эксперимент

Мой первый опыт покупки по Интернету относится примерно к середине 1990-х годов. В моей библиотеке было несколько работ по эмпирическим методам, применяемым в различных областях, но мне нужна была книга по общим основам научных измерений — такая, которую можно порекомендовать своим клиентам — менеджерам компаний. Я прочитал всех философов (Куна, Поппера и др.), но не нашел того, что искал. И тогда я увидел на сайте www.amazon.com книжку под названием «How to Think like a Scientist» («Мыслить, как ученый»)[27]. Отзывы были прекрасные, и казалось, что именно ее я смогу порекомендовать типичному руководителю. Оплатив покупку, через пару недель я получил по почте совсем не то, что ожидал. Книжка оказалась детской — для читателей от восьми лет. Я понял, что попал в глупое положение, и зарекся делать покупки по Интернету, пока электронная торговля не вышла из зачаточного состояния. Ведь в книжном магазине я, не имея в то время детей, просто проигнорировал бы секцию детской литературы. А заметь я эту книгу на книжном развале, ее обложка[28] подсказала бы, что это вовсе не то серьезное издание из серии «Наука для бизнеса», которое мне нужно. Повозмущавшись, я начал просматривать книгу. И оказалось, что хотя она на две трети состояла из картинок, в ней освещались все основные понятия и каждому давалось как нельзя более простое объяснение. Например, авторы очень доступно говорили о том, что такое проверка гипотезы и проведение наблюдений. Я изменил свое мнение, теперь покупка книги уже не казалась ошибкой. Я понял, что нашел в Интернете эту жемчужину именно потому, что принял ее за издание для взрослых. Стало ясно: главная идея книги была сформулирована на обложке — научные методы годятся для всех, кому уже исполнилось восемь.

Мысль провести эксперимент, чтобы определить какой-либо важный бизнес-показатель, к сожалению, приходит в голову менеджерам нечасто. А ведь эксперименты (что мы видели на примере Эмили Роза) могут быть очень простыми. При правильном подходе даже горсть конфетти, как показал Энрико Ферми, позволяет выяснить такой параметр, как мощность атомной бомбы. Сама идея очень проста. Как говорится в главе 3 о выборе инструментов измерения, когда вам нужно узнать то, что еще никем не измерено и что нельзя наблюдать без явного вмешательства, постарайтесь создать условия для наблюдения с помощью эксперимента.

Используемое в широком смысле слово «эксперимент» означает любое явление, созданное специально для цели наблюдения. Вы «экспериментируете», когда проверяете систему безопасности, чтобы понять, как быстро она отреагирует на угрозу. Но главной особенностью управляемого эксперимента является то, что у вас обычно не один, а два объекта изучения. Вы наблюдаете за тем, что испытываете (группа испытуемых), и за тем, с чем результаты испытания можно будет сравнить потом (контрольная группа). Это идеальный подход к ситуации, когда слишком сложно проследить за существующим явлением или когда объект, требующий измерения, еще не возник (например, необходимость оценки эффекта от изменения композиции продукта или внедрения новой информационной технологии).

Можно запустить новый опытный продукт или новую технологию и без оценки последствий. Но как узнать, понравилась ли потребителям ваша новая продукция, действительно ли повысилась производительность труда? Доходы могут вырасти вовсе не из-за изменения композиции продукта, а производительность труда — измениться совсем по другим причинам. На самом деле, если положение компании в какой-то момент зависит только от одного фактора, то отпадает необходимость в контрольных группах. Тогда можно менять этот фактор, исследовать положение компании и приписать возникшие сдвиги исключительно этой причине. Но, конечно, нужно уметь оценивать одновременное влияние разных сил и тогда, когда на сложные системы влияют многочисленные факторы, в том числе и такие, которые даже нельзя выявить и определить.

Изменяя какое-либо свойство своего продукта и желая понять, как это изменение повлияет на мнение потребителей, мы, возможно, должны будем провести эксперимент. Удовлетворенность потребителей, а следовательно, и число повторных заказов зависят от целого ряда причин. Но когда необходимо узнать, оправдано ли экономически это новое свойство продукта, приходится оценивать роль только этого фактора, а не совокупности разных причин. Сравнивая мнения потребителей, купивших усовершенствованный продукт, и тех, кто остался верен старому варианту, мы сможем количественно определить эффект именно нового свойства.

Для интерпретации результатов экспериментов используются в основном уже обсуждавшиеся нами методы: проведение разных выборочных обследований, возможно, испытаний вслепую и т. д. Но особенно важно уметь рассчитывать разницу результатов, полученных в группе испытуемых и контрольной группе. Если мы уверены, что группа испытуемых действительно отличается от контрольной, то должны быть убеждены и в том, что разница в результатах возникает не случайно. На самом деле, сравнение откликов двух групп очень похоже на расчет среднего квадратичного отклонения оценки, с которым мы уже знакомы, но с одним небольшим изменением. В данном случае среднее квадратичное отклонение, которое надо определить, — это отклонение различия результатов групп. Рассмотрим следующий пример.

Предположим, что одна компания решила оценить воздействие тренинга «Управление взаимоотношениями с клиентами» на качество работы службы поддержки потребителей. Сотрудники этой службы обычно отвечают на звонки покупателей, у которых появились вопросы или возникли проблемы с новым продуктом. Есть мнение, что плохая работа данной службы приводит не столько к снижению объемов продаж именно этим покупателям, сколько к той устной антирекламе, которую компания получает в результате. Как обычно, эта компания, прежде всего, оценила существующую неопределенность эффекта от проведения тренинга, затем определила соответствующий порог и рассчитала стоимость информации.

Изучив несколько возможных инструментов измерения, менеджеры решили, что лучше всего провести опрос позвонивших в службу поддержки покупателей и поинтересоваться не только их впечатлениями, но и вероятностью того, что они порекомендуют компанию своим друзьям. Используя ранее собранную маркетинговую информацию, калиброванные менеджеры определили, что новый тренинг в области управления взаимоотношениями с клиентами может увеличить объем продаж на 0–12 %, но расходы на его проведение окупятся даже в случае, если рост продаж составит лишь 2 %.

К проведению опроса приступили еще до начала тренинга, чтобы представить себе исходное положение дел. Из клиентов каждого сотрудника службы отбирали только одного. Главный вопрос был сформулирован так: «Какова вероятность, что вы порекомендуете нас своим друзьям, учитывая свой опыт обращения в службу поддержки?» В случае высокой вероятности такого поступка респонденты должны были выбрать цифру 1, если мнение о работе службы не изменилось — цифру 2, а в случае малой вероятности — 3. Каждому ответу присваивался соответствующий балл (1, 2, 3). Зная результаты некоторых предыдущих исследований роста продаж в результате повышения удовлетворенности потребителей, отдел маркетинга определил, что улучшение среднего балла ответов на этот вопрос на 0,1 пункта приведет к повышению объема реализации на 2 %.

Тренинг, о котором идет речь, был не из дешевых, поэтому сначала руководство решило послать на обучение 30 случайным образом выбранных сотрудников службы поддержки потребителей в качестве группы испытуемых. Тем не менее затраты на обучение этой группы оказались существенно меньше рассчитанной стоимости информации. В контрольную группу вошли все остальные сотрудники службы. После того, как тест-группа прошла программу тренинга, менеджеры продолжили опрос покупателей, осуществив выборочное обследование по принципу, описанному выше. Были рассчитаны среднее значение и дисперсия исходных данных по группе испытуемых и контрольной группе (как это показано в примере с леденцами в начале главы). Результаты расчетов представлены в таблице 9.4.

Ответы респондентов вроде бы продемонстрировали, что обучение дало эффект; но не является ли эта картина просто случайностью? Может быть, 30 случайным образом выбранных сотрудников уже работали лучше, чем персонал в среднем, или этим 30 случайно пришлось иметь дело с менее «трудными» покупателями? Пересчитаем полученные результаты обеих групп следующим образом:

1. Разделим дисперсию выборки каждой группы на размер выборки. Получим: 0,392 / 30 = 0,0131 для группы испытуемых и 0,682 / 85= 0,008 для контрольной группы.