Чтение онлайн

Хотя я считаю, что более зрелый мир действительно ограничил бы рост своих разрушительных способностей тем уровнем, на котором ими можно управлять, я не вижу смысла призывать к этому в настоящий момент. Чтобы предпринимать значительные усилия по замедлению прогресса, необходимо заключать международные соглашения между всеми ведущими игроками, поскольку в ином случае в наименее добросовестных странах работа просто продолжится. Мир очень далек от заключения таких соглашений, и потому немногочисленным людям, которых беспокоит экзистенциальный риск, нет смысла настаивать на замедлении, поскольку их усилия окажутся тщетными (а возможно, и контрпродуктивными).

Вместо этого нам стоит направить силы на лоббирование ответственного применения новых технологий и ответственного управления ими. Мы должны пояснить, что беспрецедентная власть, которую дают нам новые технологии, требует беспрецедентной ответственности: и для исполнителей, и для тех, кто отвечает за процесс.

Технологии колоссально повысили качество нашей жизни, но за это приходится платить. Они принесли с собой теневые издержки в форме риска[554]. Мы обращаем внимание на видимые выгоды, но накапливаем скрытый долг, который нам однажды, вероятно, нужно будет вернуть[555]. Если мы не замедлим темп технологического развития, то можем хотя бы пустить часть благ, которые оно дает нам, на обслуживание своего долга. Например, расходовать хотя бы 1 % выгод, которые приносят нам технологии, чтобы гарантировать, что дальнейший технологический прогресс не уничтожит потенциал человечества.

Осуществлять управление технологиями можно на многих уровнях. Очевиднее всего вверить его людям, которые и так управляют: политикам, гражданским службам и гражданскому обществу. Но мост можно строить с двух сторон, учитывая ценный вклад людей, работающих в соответствующих сферах науки и технологий: в университетах, в профессиональных обществах, а также в технологических компаниях. Те, кто занимаются технологиями на практике, могут уделять гораздо больше времени размышлениям об этических аспектах своей работы и работы своих коллег[556]. Они могут разработать собственные руководства и внутренние правила. Кроме того, они могут сотрудничать с чиновниками, чтобы обеспечивать научную и технологическую состоятельность национальных и международных регламентов[557].

Хорошим примером успешного регулирования служит Монреальский протокол, который определил сроки снятия с производства химических веществ, разрушающих озоновый слой. Его разработка шла очень быстро при тесном сотрудничестве ученых, чиновников и ведущих компаний, и Кофи Аннан назвал его “возможно, самым успешным международным соглашением на сегодняшний день”[558].

Другой пример – Асиломарская конференция о рекомбинантной ДНК, на которой ведущие ученые отрасли рассмотрели новые опасные возможности, открывшиеся в ходе их работы. В результате они составили новые требования к безопасности дальнейших исследований и полностью запретили некоторые их направления[559].

Любопытная, хотя и обойденная вниманием, сфера технологического регулирования – технологическое развитие[560]. Хотя предотвратить разработку рискованной технологии порой слишком сложно, мы можем попробовать снизить экзистенциальный риск, ускорив развитие защитных технологий в противовес опасным. Здесь в игру могут вступить спонсоры исследований, которые будут придерживаться этого принципа при объявлении конкурсов на финансирование и распределении грантов, добавляя веса защитным технологиям. Кроме того, это было бы полезно и для ученых, выбирающих из нескольких перспективных исследовательских программ.

Риски состояния и риски переходного периода

Если человечество каждое столетие сталкивается с серьезным риском, наше положение неустойчиво. Не стоит ли попытаться преодолеть этот рискованный период как можно скорее? Ответ зависит от того, с риском какого типа мы имеем дело.

Некоторые риски связаны с пребыванием в уязвимом состоянии. Назовем их рисками состояния[561]. В эту категорию входят многие природные риски. Человечество остается уязвимым для астероидов, комет, мегаизвержений, взрывов сверхновых и гамма-всплесков. Чем дольше мы пребываем в состоянии, где мы уязвимы и находимся под угрозой, тем выше совокупная вероятность того, что нам не удастся устоять. Вероятность нашего выживания на протяжении длительного времени описывается падающей экспонентой, и период, за который она уменьшается вдвое, определяется уровнем годового риска[562]. В случае с рисками состояния чем раньше мы справимся со своей уязвимостью, тем лучше. Если для этого нам необходимы технологии, нужно как можно быстрее их разработать.

Но существуют и другие риски[563]. Есть риски переходного периода, которые возникают в процессе перехода к новому технологическому или общественному режиму. Например, таковы риски, связанные с разработкой и применением прогрессивного ОИИ, а также риски изменения климата при переходе нашей цивилизации в высокоэнергетическое состояние. Ускорение перехода никак не может способствовать снижению этих рисков, зато легко может их повысить. Но если переход необходим или весьма желателен, нам, возможно, придется в какой-то момент его совершить, поэтому попытка оттянуть его не решит проблему, а возможно, даже усугубит. Как правило, при работе с такими рисками рекомендуется не спешить, но и не медлить, проявляя дальновидность и осмотрительность.

Мы сталкиваемся с целым рядом рисков, включая риски состояния и риски переходного периода[564]. Однако, если я прав, риски переходного периода гораздо выше, чем риски состояния (главным образом потому, что в первую категорию входит больше антропогенных рисков). Это позволяет сделать вывод, что ускорение общего технологического прогресса неоправданно. В целом баланс определяется нашим желанием обеспечить экзистенциальную безопасность, вызвав как можно меньше кумулятивного риска. Я подозреваю, что для этого нам лучше всего ускорить развитие именно тех областей науки и техники, которые помогут нам справиться с крупнейшими рисками состояния, а также проявлять дальновидность и осторожность, направляя скоординированные усилия на работу с крупнейшими рисками переходного периода.

Хотя сейчас наше положение неустойчиво, это не значит, что решение проблемы в том, чтобы как можно скорее снизить годовой риск до приемлемого уровня. Наша главная цель – устойчивость в долгосрочной перспективе: мы должны защитить потенциал человечества, чтобы обеспечить себе максимальные шансы реализовать его в грядущие эпохи. Следовательно, правильная устойчивость не означает, что нужно как можно быстрее прийти в устойчивое состояние, – нужно встать на устойчивую траекторию, где риски, возникающие на пути, будут уравновешиваться защитой, которую мы в итоге обретем[565]. Вероятно, для этого придется идти на дополнительные риски в краткосрочной перспективе, но только если они в достаточной степени снижают риски в долгосрочной перспективе.

Исследования экзистенциального риска

Исследования экзистенциального риска находятся в зачаточной стадии. Мы только начинаем понимать, с какими рисками сталкиваемся и как лучше с ними работать. Что же касается концептуальных и моральных принципов, а также общей стратегии человечества в этом вопросе, мы находимся на еще более ранней стадии. Таким образом, мы пока не готовы к решительным действиям для защиты своего долгосрочного потенциала. В связи с этим очень важно продолжать исследования экзистенциального риска. Они помогут нам определить, какие из доступных мер следует принимать, и открыть абсолютно новые способы борьбы с риском, те, что мы прежде даже не рассматривали[566].

Часть исследований необходимо посвятить конкретным темам. Нам нужно лучше изучить экзистенциальные риски: узнать, насколько они вероятны, каковы их механизмы и как лучше всего снижать их. Хотя ведутся масштабные исследования ядерной войны, изменения климата и биологической безопасности, лишь малая их часть посвящена самым радикальным событиям в каждой сфере – событиям, которые представляют угрозу для всего человечества[567]. Точно так же необходимо значительно расширить технические исследования того, как настраивать ОИИ в соответствии с человеческими ценностями.