Чтение онлайн

Такая простая ошибка невероятно распространена, ее допускают даже самые опытные, умудренные жизнью люди. В 2012 году, когда Верховный суд должен был огласить давно ожидаемый вердикт по конституционности реформы здравоохранения (Obamacare), на рынках прогнозов – то есть там, где у людей принимают ставки на возможные исходы, – вероятность, что закон будет отменен, держалась на уровне 75 %. Когда Верховный суд признал закон, весьма здравомыслящий репортер New York Times Дэвид Леонхардт объявил, что «рынок – мудрость толпы – оказался не прав» [54] .

Распространенность этой элементарной ошибки имеет ужасные последствия. Если, допустим, разведывательное агентство говорит о 65 %-ной вероятности, что какое-то событие произойдет, оно рискует оказаться у позорного столба в случае, если это событие все-таки не случится. А риск велик – целых 35 %, что заложено в прогнозе. Как же избежать этой опасности? Придерживаться неопределенных формулировок. Используя термины вроде «неплохой шанс» и «серьезная возможность», прогнозисты могут заставить работать на себя даже «заблуждение не той стороны “может быть”»: если событие произошло, «неплохой шанс» задним числом объявляется чем-то значительно большим, чем 50 %, и получается, что прогнозист был прав. Если же событие не произошло, этот шанс может съежиться и обозначать значительно меньше 50 % – и опять-таки прогнозист оказывается прав. Неудивительно, что со столь ложными стимулами люди предпочитают гибкие формулировки точным цифрам.

Кент эти политические барьеры не смог преодолеть, но с годами доводы, которые он приводил в пользу применения цифр, только укреплялись: одно исследование за другим показывало, что словам, касающимся вероятностей, таким как «может быть», «возможно», «вероятно», люди придают очень разное значение. И все равно разведывательное сообщество сопротивлялось. Только после провала с предполагаемым оружием массового поражения Саддама Хусейна и последовавших за ним крупных реформ выражение степени вероятности в числах стало более приемлемо. Когда аналитики ЦРУ сообщили президенту Обаме: они на 70 или 90 % уверены, что загадочный человек, прячущийся в пакистанском убежище, – Усама бен Ладен, – это был маленький посмертный триумф Шермана Кента. В некоторых областях числа и вовсе стали стандартом: так, в прогнозах погоды «небольшая вероятность ливней» уступила место «тридцатипроцентной вероятности ливней». Но увы, язык неопределенности до сих пор настолько распространен, особенно в СМИ, что мы редко замечаем его бессодержательность, просто не обращаем на это внимания.

«Думаю, долговой кризис в Европе не решен и может быть очень близок к критической отметке, – сказал гарвардский экономический историк и популярный комментатор Ниал Фергюсон в январе 2012 года. – Дефолт Греции может быть вопросом ближайших дней». Был ли он прав? Популярное понимание слова «дефолт» включает в себя полный отказ от выплаты долга, а в Греции этого не произошло в течение ни последующих дней, ни месяцев, ни лет. Однако есть также техническое определение дефолта, и именно он случлся в Греции вскоре после интервью с Фергюсоном. Какое именно определение имел в виду Фергюсон? Непонятно. Поэтому, хотя у нас есть основания полагать, что он был прав, мы не можем быть в этом уверены.

Но давайте представим себе, что в Греции не произошло вообще никакого дефолта. Смогли бы мы сказать, что Фергюсон был не прав? Нет. Он ведь только сказал, что дефолт «может» произойти, а «может» – пустое слово. Оно говорит только о возможности чего-то, без уточнения степени ее вероятности. «Может» произойти практически все что угодно. Я могу с уверенностью предсказать, что на Землю завтра могут напасть инопланетяне. А если не нападут? Это не будет означать, что я не прав. Каждое «может» снабжено сноской, в которой мелким шрифтом приписано «или не может». Однако интервьюер не заметил мелкий шрифт в прогнозе Фергюсона и не попросил его уточнить, что именно он имел в виду [55] .

При серьезном отношении к оценкам и улучшениям такие прогнозы никуда не годятся. В прогнозах нужно указывать четко определенные термины и временные рамки. Они должны использовать числа. И еще один необходимый момент: прогнозов должно быть много.

Мы не можем заново проиграть историю, поэтому не можем оценить одно вероятностное предсказание; ситуация меняется, когда мы располагаем множеством вероятностных прогнозов. Если метеоролог говорит, что завтра пойдет дождь с вероятностью 70 %, этот прогноз оценить невозможно. Но если он предсказывает погоду на завтра, послезавтра, послепослезавтра – и так в течение месяцев, – все прогнозы можно свести в таблицу и определить кривую показателей. Если прогнозирование идеально, дождь будет идти в 70 % случаев, когда предсказывается вероятность 70 %, что он пойдет; в 30 % случаев, когда объявляется вероятность 30 %, и т. д. Это называется калибровка. Она может быть изображена в виде простого графика. Идеальную калибровку выражает диагональная линия на графике.

Идеальная калибровка

Если кривая метеоролога сильно выходит вверх за эту линию, значит, у него недостаток уверенности: то, что она предсказывает с 20 %-ной уверенностью, происходит в 50 % случаев (см. следующую страницу). Если кривая сильно опускается за линию вниз, значит, у метеоролога переизбыток уверенности: то, что он предсказывает с 80 %-ной уверенностью, происходит в 50 % случаев.

Два вида нарушения калибровки: недостаток уверенности (над линией) и переизбыток уверенности (под линией)

Этот метод хорошо подходит для прогнозов погоды, потому что погода каждый день новая, и прогнозы быстро накапливаются. Для таких событий, как президентские выборы, он не годится – ведь должны пройти века, причем не потревоженные войнами, эпидемиями и прочими чрезвычайными происшествиями, которые нарушают чистоту глубинных причин, чтобы сформировалась какая-то статистика. Тут поможет творческий подход. Например, можно сосредоточиться на результатах конкретного штата в президентских выборах – и тогда получим за выборы не один, а 50 прогнозов.

И все равно остается проблема. Из-за того, что для калибровки требуется много прогнозов, оценивать те, которые касаются редких событий, непрактично. И даже когда речь идет о повседневности, мы должны быть терпеливыми сборщиками информации – и осторожными ее интерпретаторами.

Как бы ни была важна калибровка, дело не только в ней, потому что, говоря об идеальной точности прогноза, мы представляем себе не «идеальную калибровку». Идеальность – это божественное всезнание, когда после слов «это случится» что-то случается, а после слов «это не случится» – не случается. Технический термин для такого всезнания – «разрешение».

Два графика на странице 84 показывают, как калибровка и разрешение запечатлевают разные аспекты хорошего прогнозирования. График сверху представляет идеальную калибровку, но плохое разрешение. Калибровка здесь идеальна, потому что, когда прогнозист говорит, что что-то случится с вероятностью 40 %, это происходит в 40 % случаев, а когда говорит, что вероятность 60 %, – это действительно происходит в 60 % случаев. Но разрешение при этом плохое, потому что прогнозист никогда не выходит за теневые рамки зоны «возможно», между 40 и 60 %. График внизу представляет великолепные калибровку и разрешение. Калибровка вновь идеальна, потому что события происходят с прогнозируемой частотой: предсказанное с вероятностью 40 % происходит в 40 % случаев. Но на этот раз прогнозист гораздо более решителен и точно распределяет высокие вероятности событиям, которые происходят, и низкие вероятности событиям, которые не происходят.

Комбинируя калибровку и разрешение, мы получаем систему оценки, которая полностью выражает наше ощущение от того, что должен делать хороший прогнозист. Если кто-то говорит, что событие Х произойдет с вероятностью 70 %, и событие происходит – это достаточно неплохой прогноз. Но если кто-то предсказал Х с вероятностью 90 % – его прогноз лучше. А прогнозист, достаточно смелый, чтобы предсказать Х с уверенностью 100 %, получает наивысшую оценку. Однако самоуверенность наказуема. Если кто-то говорит, что Х – верный случай, то он должен понести убытки, если Х не случится. Вопрос о том, насколько велики эти убытки, дискуссионен, но наиболее верно думать о нем в терминах тотализатора. Если я говорю, что «Янкиз» побьют «Доджерс» с вероятностью 80 % и готов на это поставить, я предлагаю вам ставку 4 к 1. Если вы принимаете и ставите со своей стороны 100 долларов, вы заплатите мне 100 долларов, если «Янкиз» выиграют, а я заплачу вам 400 долларов, если они проиграют. Но если я скажу, что вероятность победы «Янкиз» 90 %, я подниму ставку до 9 к 1. Если, по моему мнению, вероятность победы 95 %, ставка поднимается до 19 к 1. Это экстремальное значение. Если вы согласитесь поставить 100 долларов, я заплачу вам 1900 в случае, если «Янкиз» проиграют. Оценочная система в прогнозировании должна использовать подобное наказание.