Чтение онлайн

Панацея или плацебо? Сомнительные методы измерения

ВАЖНЕЙШЕЕ ПРАВИЛО ИЗМЕРЕНИЯ

Самое главное — никогда не используйте метод, способный увеличить ошибку первоначальной оценки.

Кое-кто из читателей может подумать: до сих пор автор пытался снизить планку требований к измерениям настолько, что одно только это сделает измеримым любой объект или явление. Ведь я с самого начала заявил: измерением может считаться все, что снижает неопределенность. Разнообразные ошибки наблюдения — вовсе не препятствие, если только неопределенность после измерения ниже, чем до него. Даже методы анализа того, что обычно считается «субъективным» (например, модель Раша и модель линзы), — тоже измерение, если есть убедительные доказательства, что они действительно позволяют получать более точные оценки. Вместе с тем существуют такие способы, которые я не могу считать измерением даже при этих отнюдь не жестких критериях. Поэтому сейчас, прежде чем перейти к описанию новых методов количественной оценки, я хочу благоразумно притормозить и сделать ряд оговорок.

Раз не нужно больше заботиться о точности измерения, наше определение его как «снижение неопределенности», безусловно, делает выполнимой оценку чуть ли не всего, что угодно. Но это определение предполагает и строгое ограничение. Если какой-то метод на самом деле не уменьшает неопределенность или, более того, ее увеличивает, то это нельзя считать измерением и его ценность для принимающих решение равна нулю. В подобном духе запоздалого измеренческого скепсиса мы должны обсудить два весьма распространенных метода измерения: анализ «затраты/выгоды» и метод субъективных взвешенных показателей.

Только приступив к написанию этой книги, я попросил своих многочисленных знакомых сообщать мне об интересных решениях в области измерений, которые я смог бы использовать в качестве примеров из практики. Я сказал, что ищу «интересные примеры удачного решения трудных или даже казавшихся неразрешимыми задач измерения, при этом желательно, чтобы результаты оказались поразительными и заставили изменить первоначальное решение». Недостатка в предложениях не было, и я обсудил по телефону намного больше практических примеров, чем в конце концов включил в свою книгу. Однако я заметил, что многие аналитики, консультанты и бизнесмены, похоже, ставят знак равенства между проведением измерений и обоснованием проекта. Они не приводили примеров интересного использования результатов наблюдений для снижения неопределенности в связи с каким-то неизвестным показателем. Вместо этого они объясняли мне, как готовили обоснование своего любимого проекта.

Справедливости ради скажу, что анализ «затраты/выгоды» вполне может считаться разновидностью разложения на составляющие, о котором мы говорили в главе 8, и сам по себе способен снизить неопределенность без дальнейших измерений. В процессе обоснования проекта проблему разлагают на составляющие точно так же, как в свое время Ферми это делал своими вопросами. При этом не являясь сам по себе измерением, основанным на наблюдениях, процесс все же позволяет узнать что-то новое о том, с чем мы уже были знакомы. Но, как я отмечал ранее, согласно моему многолетнему опыту, при высокой стоимости информации об изучаемых переменных одно только разложение на составляющие достаточно снижает неопределенность всего в 25 % случаев. А чаще всего, если стоимость информации оправдывает усилия по снижению неопределенности, все равно требуются определенные эмпирические наблюдения.

Между тем, похоже, что единственный прием измерения, которым пользуются многие компании, — это разложение на составляющие (например, при обосновании проекта); применять эмпирические методы они даже не пытаются. Каждая переменная при этом представляет собой просто первоначальную оценку (одного эксперта либо целой рабочей группы) и всегда выражается конкретным значением, а не диапазоном, свидетельствующим о том, что точная ее величина неизвестна. Никакие опросы и эксперименты не проводятся; не применяются и методы, позволяющие уточнить субъективные суждения. Те, кто с таким энтузиазмом рассказывал мне об обосновании проекта как о примере проведения измерений, не смогли, сколько я ни просил об этом, назвать хотя бы один показатель, который использовался ими при анализе «затрат/выгод» и который был бы рассчитан в результате наблюдений реального мира.

Совсем иное поведение наблюдается, когда задача состоит в том, чтобы на этапе обоснования проекта определить точные значения, особенно когда эксперт участвует в нем и заинтересован в результате. Оно отличается от действий калиброванного эксперта, указывающего первоначальный 90-процентный доверительный интервал. Один или несколько собравшихся для анализа проекта специалистов рассматривают со всех точек зрения каждую оценку. Вынуждаемые обстоятельствами выбрать точные значения, несмотря на всю имеющуюся неопределенность и условность ситуации, они задаются вопросом: «Каким должно оказаться это значение, чтобы оно стало приемлемым для других и в то же время подтверждало правоту моей прежней точки зрения?» Это почти то же самое, как если бы мы использовали термины «консенсус» и «факт». Обсуждавшийся ранее эксперимент Эша со стадным эффектом — лишь один из недостатков подобного подхода.

Еще одна настораживающая тенденция в принятии решений менеджерами компаний — использование взвешенных показателей такого типа, когда и сами показатели, и присвоенные им веса — субъективные, произвольные величины, а не использовавшиеся Доузом z-значения. Как и обсуждавшиеся ранее простые линейные модели, такие методы могут поставить перед менеджером портфеля проектов задачу ранжировать их по категориям типа «организационный риск» или «стратегическое соответствие» и т. д.

Подобные методы в большинстве своем предполагают использование от 4 до 12 категорий оценки, а некоторые — больше 100. Обсуждаемому проекту обычно присваивают балл, например по пятибалльной шкале, для каждой категории. Сумму баллов затем умножают на весовой коэффициент (иногда тоже составляющий от 1 до 5), отражающий относительное значение данной категории. Обычно в компаниях используемые весовые коэффициенты стандартизируют, чтобы можно было оценивать проекты по сопоставимым критериям. Скорректированные на весовые коэффициенты баллы затем суммируют и получают общий показатель обсуждаемой программы.

Присваивание баллов — способ выражения сравнительного значения, предпочтительности и т. д. без помощи реальных единиц измерения. Хотя подсчет баллов справедливо считают разновидностью порядкового измерения, обсуждавшегося в главе 3, я всегда считал, что он в определенном смысле предполагает подмену действительного желаемым, что вносит дополнительные ошибки по следующим четырем причинам.

1. Нередко баллы используют в ситуациях, где вполне оправдано использование обычных количественных показателей, которые были бы намного информативнее (например, иногда в баллы пересчитывают доходность инвестиций или риск вместо того, чтобы использовать эти параметры, как это сделал бы актуарий или финансовый аналитик).

2. Баллы привносят свой собственный тип ошибки в процесс оценки, так как зачастую показатели, определенные по разным шкалам, несопоставимы и неоднозначны. Рассмотрим, например, число звезд, которое кинокритик может присвоить кинофильму или ресторанный обозреватель — ресторану (в первом случае обычно используют шкалу четыре звезды, а во втором — пять звезд). В данной ситуации две звезды не означают, что продукт или услуга в два раза лучше, чем то же, но с одной звездой, а посещение четырех однозвездочных кинофильмов совсем не равнозначно просмотру одного четырехзвездочного.

3. Баллы бывают информативными, если являются элементами опроса большой группы людей (например, при проведении исследования по определению степени удовлетворенности потребителей). Однако они существенно теряют информативность, если используются индивидуумами для оценки возможностей, стратегий, инвестиций и т. п.: людей редко удивляют те баллы, которые они присваивают сами.

4. Баллы лишь отражают порядковый номер, но многие пользователи увеличивают ошибку тем, что расценивают их как реальные величины. Как уже говорилось, более высокое порядковое число означает «больше», но не показывает, насколько больше. Умножение и суммирование порядковых чисел иногда дает результаты, о которых пользователь и не догадывается. Вот почему этот метод может привести к непредвиденным последствиям.

Стоит подробнее остановиться на том, чем такие баллы отличаются от z-показателей, использованных Робином Доузом, а веса — от весов, получаемых с помощью модели линзы. Во-первых, в «неправильных» линейных моделях Доуза и оптимизированных моделях линзы Брунсвика применяются исходные данные, выраженные в реальных единицах измерения (например, продолжительность реализации ИТ-проекта в месяцах или средний балл поступающего в аспирантуру), а вовсе не баллы, присвоенные экспертами по некоей произвольно выбранной шкале. Во-вторых, такими баллами не были и веса, использовавшиеся Доузом и Брунсвиком. Психология применения произвольных шкал гораздо сложнее, чем кажется. Когда эксперты выбирают веса по пятибалльной шкале, они вовсе не имеют в виду, что балл 4 вдвое важнее балла 2. Из-за этой неоднозначности пятибалльная (семибалльная или какая угодно другая) шкала только добавляет ошибку к процессу оценки.