Чтение онлайн

Разницу между Pr (X|f = fsq) и Pr (X|f = fmin) можно назвать вкладом, который F вносит в экзистенциальный риск. Она показывает, насколько снизился бы общий экзистенциальный риск при устранении этого фактора. Этот показатель позволяет в сопоставимых величинах сравнить размер факторов риска и размер экзистенциального риска. По аналогии разницу между Pr (X|f = fsq) и Pr (X|f = fmax) можно назвать потенциалом F. Она показывает, насколько мог бы возрасти экзистенциальный риск при усугублении этого фактора[487].

При приоритизации факторов риска нам особенно важна крутизна кривой на отметке fsq. Она дает нам понять, какую защиту мы можем обеспечить путем незначительного изменения фактора риска[488].

* * *

Дискуссия о факторах риска поднимает вопрос о возможности существования других факторов, которые снижают риск[489]. Их можно назвать факторами экзистенциальной безопасности[490]. К ним относятся, например, функционирование хорошо развитых институтов для снижения экзистенциального риска, повышение нравственного уровня цивилизации и мир между великими державами. Как показывает последний пример, если что-то считается фактором риска, то противоположное ему будет фактором безопасности.

Многое из того, что мы привыкли считать общественным благом, вероятно, можно отнести к факторам экзистенциальной безопасности. Такие вещи, как образование, мир и процветание, возможно, помогут нас защитить. Многие болезни общества могут оказаться факторами экзистенциального риска. Иными словами, стремление снизить экзистенциальный риск может стать стимулом для проведения политики, основанной на знакомых принципах здравого смысла.

Но я хочу подчеркнуть, что в этом наблюдении таится опасность. Дело в том, что так можно ненароком скатиться к благостной самоуспокоенности и заменить защиту будущего другими целями, возможно лишь условно с нею связанными. Если экзистенциальный риск снижается при движении к другой цели, это не значит, что такая стратегия – самый надежный способ сберечь наше будущее. Если эта другая цель важна с точки зрения здравого смысла, то вполне вероятно, что на ее реализацию уже выделяется гораздо больше ресурсов, чем на непосредственную работу с экзистенциальным риском. В таком случае у нас гораздо меньше возможностей сдвинуться с мертвой точки. На мой взгляд, вполне вероятно, что существует лишь несколько факторов экзистенциального риска и экзистенциальной безопасности (таких как война великих держав), которые действительно сопоставимы с самыми значимыми экзистенциальными рисками с точки зрения того, насколько эффективно дополнительная работа с ними помогает нам сберечь свое будущее. Очень важно выявить эти факторы.

Какие риски?

Как ни печально, большинству экзистенциальных рисков, которые мы рассмотрели, уделяется гораздо меньше внимания, чем они заслуживают. Хотя ситуация меняется, скорее всего, пройдет не один десяток лет, прежде чем на борьбу с серьезными рисками будут выделены достаточные ресурсы. Тем из нас, кто хочет сберечь наше будущее, необходимо расставлять приоритеты, то есть определить, на что именно направлять свои ограниченные силы и ресурсы.

Для этого логично было бы сравнивать риски по вероятности их наступления, а точнее, по размеру их вклада в общий риск. Поскольку ставки по большинству экзистенциальных рисков примерно равны (большая часть потенциальной ценности будущего), можно подумать, что этим дело и ограничивается: приоритетность рисков следует определять по тому, насколько они повышают общий риск.

Но это не так. Дело в том, что работать с некоторыми рисками проще. Например, мы можем снизить небольшой риск с 5 до 1 %, задействовав те же ресурсы, которые понадобились бы, чтобы снизить более серьезный, но более неподатливый риск с 20 до 19 %[491]. В таком случае, направив эти ресурсы на меньший риск, мы смогли бы снизить общий экзистенциальный риск сильнее.

Наша конечная цель – потратить ресурсы, выделенные на работу с экзистенциальным риском, таким образом, чтобы снизить общий риск как можно сильнее. Можно представить распределение ресурсов, имеющихся у человечества, как портфель инвестиций, состоящий из вложений в разные способы предотвращения разнообразных рисков. Сформировать весь портфель очень сложно, и часто мы в силах лишь вносить незначительные коррективы в распределение мировых ресурсов, поэтому для простоты представим, что мы вносим незначительные изменения в существующий портфель. Учитывая всю остальную работу, которая ведется для предотвращения рисков в настоящее время, какую задачу следует считать самой неотложной? Куда следует направить дополнительные ресурсы (например, время и деньги), чтобы сильнее всего снизить общий риск?

Дать точный ответ на этот вопрос крайне сложно. Но некоторые эвристические принципы помогут нам ограничить количество вариантов. Один из них таков: чем важнее проблема, чем более она податлива и чем сильнее ею пренебрегают, тем более она затратно-эффективна, а следовательно, тем выше ее приоритет[492]. Важность проблемы определяется тем, насколько высокую ценность имеет ее решение. В случае с экзистенциальным риском мы можем, как правило, приравнять важность к тому вкладу, который он вносит в общий риск. Податливость – мера того, насколько просто решить проблему. Чтобы точно определить это, можно спросить, какая доля риска была бы устранена, если бы мы удвоили ресурсы, которые в настоящее время брошены на работу с ним. Наконец, проблемой пренебрегают, если на нее направляется мало ресурсов. Здесь действует закон убывающей отдачи: как правило, дополнительные ресурсы приносят тем больше пользы, чем меньше ресурсов было затрачено на решение проблемы раньше[493].

Мой коллега из Института будущего человечества Оуэн Коттон-Баррат продемонстрировал, что, когда эти условия должным образом сформулированы, затратную эффективность работы над конкретной проблемой можно выразить очень простой формулой[494]:

Затратная эффективность = Важность x Податливость x Пренебрежение.

Хотя очень сложно назвать точные цифры для любого из этих показателей, эта модель все же позволяет сделать полезные выводы. Так, она показывает, почему в идеальном портфеле, как правило, ресурсы распределяются между несколькими рисками, а не направляются на один: чем больше мы вкладываем в конкретный риск, тем меньше мы пренебрегаем им, и привлечение дополнительных ресурсов на борьбу с ним перестает быть приоритетным. Через некоторое время оказывается, что дополнительные ресурсы выгоднее направлять на работу с другим риском.

Кроме того, эта модель позволяет нам понять, как находить компромиссные соотношения этих показателей. Например, при выборе между двумя рисками, вероятности которых различаются в пять раз, эта разница в вероятности того, что они наступят, может быть превзойдена десятикратным увеличением объема финансирования. Модель предлагает руководствоваться таким общим принципом:

Пропорциональность

Когда набор рисков обладает одинаковой податливостью (или когда мы не знаем, какой из них податливее), в идеальном глобальном портфеле ресурсы распределяются между всеми рисками пропорционально их вкладу в общий риск[495].

Но это не значит, что вам лично следует распределять свои ресурсы между ними пропорционально их вероятностям. Индивиду или группе следует вкладывать свои ресурсы так, чтобы способствовать приведению мирового портфеля в идеальное состояние. Часто это предполагает необходимость направить все силы на один риск – особенно учитывая, насколько ценна возможность посвятить ему свое безраздельное внимание.

Этот анализ дает нам отправную точку: предварительную оценку ценности выделения новых ресурсов на работу с риском. Но часто встречаются ресурсы, которые гораздо ценнее в применении к одному риску, чем к другому. Это особенно верно в отношении людей. Биологу гораздо логичнее работать с риском пандемий искусственного происхождения, чем переучиваться для работы с риском ИИ. Получается, что в идеальном портфеле учитываются сравнительные преимущества людей. Кроме того, порой возникают подкрепленные ресурсами возможности помочь с конкретным риском. Каждый из этих показателей (соответствие профилю и подкрепленность ресурсами) может легко изменить ценность возможности в десять (и более) раз.

Рассмотрим еще три эвристических принципа для расстановки приоритетов: фокус на рисках, которые наступают рано, внезапно и резко. Эти категории не конкурируют с важностью, податливостью и пренебрежением, а проливают на них новый свет.

Допустим, один риск наступает рано, а другой – поздно. При прочих равных в приоритете должен быть тот риск, который наступает рано[496]. Одна причина в том, что с рисками, которые наступают позже, работать можно и позже, но с теми, что наступают раньше, это не получится. Другая – в том, что на работу с рисками, наступающими позже, вероятно, будет выделено больше ресурсов, поскольку человечество продолжит наращивать свою мощь и все больше людей будет понимать, в какой ситуации мы оказались. В результате рисками, наступающими позже, будут меньше пренебрегать. Наконец, нам понятнее, что делать с рисками, которые вот-вот наступят, в то время как с рисками, наступающими позже, мы вполне можем выбрать неправильный путь. Непредвиденные события в области технологий и политики в период до наступления риска могут изменить его природу, предложить более эффективные способы работы с ним или устранить его вообще, и тогда мы зря потратим свои силы на ранних этапах. Таким образом, риски, наступающие позже, в текущий момент характеризуются меньшей податливостью, чем риски, наступающие раньше.

Что, если один риск наступает внезапно, а другой – постепенно? При прочих равных в приоритете должен быть тот риск, который наступает внезапно. Риск, наступающий постепенно, с большей вероятностью привлечет внимание общественности и традиционных структур управления. В результате в долгосрочной перспективе им, скорее всего, будут меньше пренебрегать.

Некоторые экзистенциальные риски грозят нам катастрофами разных масштабов. В пандемиях могут гибнуть тысячи, миллионы или миллиарды человек, а диаметр астероидов варьируется от метров до километров. В каждом случае риски, судя по всему, распределяются по степенному закону, где катастрофы становятся значительно более редкими по мере увеличения масштабов. Это значит, что, скорее всего, мы столкнемся с пандемией или астероидом, которые убьют одну сотую населения Земли, прежде, чем с пандемией или астероидом, которые убьют одну десятую населения, а катастрофа, которая уничтожит одну десятую населения, будет предшествовать той, в которой погибнут почти все люди[497]. Другие риски, например риск, сопряженный с неконтролируемым искусственным интеллектом, могут, напротив, угрожать полным исчезновением человечества. Давайте называть небольшую катастрофу “предупредительным выстрелом”, если она с большой долей вероятности может подтолкнуть человечество к серьезным полезным действиям ради устранения будущего риска такого типа. При прочих равных в приоритете должны быть внезапные риски, то есть те, перед которыми вряд ли прозвучат предупредительные выстрелы, поскольку эти риски с большей вероятностью не будут получать должного внимания в долгосрочной перспективе[498].