Чтение онлайн

Это значит, что с вероятностью более 90 % мы проживем до того момента, пока не дойдем до какого нибудь непреодолимого внешнего рубежа: например, когда умрут последние звезды, когда все вещество преобразуется в энергию или когда мы достигнем всего, чего можно достичь, имея доступные нам ресурсы.

Непрерывное снижение риска может оказаться проще, чем мы думаем. Если бы риски каждого века были никак не связаны с рисками следующего века, со временем нам приходилось бы прилагать все больше усилий, чтобы их снижать. Но многие действия, которые мы можем совершить сегодня, снижают риски на долгие времена. Это, например, изучение экзистенциального риска и лучших стратегий для работы с ним, воспитание благоразумия и терпения в нашей цивилизации, а также создание институтов для исследования экзистенциального риска и управления им. Поскольку эти действия влияют и на риски в последующие периоды, они могут способствовать снижению векового риска, даже если количество усилий со временем остается неизменным. Кроме того, число новых антропогенных рисков может быть ограничено, и тогда в последующие столетия не будет появляться новых рисков, которыми придется управлять. Например, если мы доберемся до технологического потолка, у нас не будет возникать новых технологических рисков.

508

При расстановке приоритетов важно соблюдать баланс между обеспечением надежной долгосрочной защиты и тушением пожаров, чтобы дать себе шанс дожить до того момента, когда надежная защита пойдет нам на пользу. И баланс этот зависит от того, как, на наш взгляд, риск распределяется во времени. Возможны даже такие ситуации, когда лучше всего совершать действия, сопряженные с мгновенным риском, если это нивелируется тем, насколько они снижают долгосрочный риск. Примерами могут служить разработка продвинутого искусственного интеллекта и централизация контроля над глобальной безопасностью.

509

Это название предложил Уильям Макаскилл, который также изучает необходимость этого процесса и возможный механизм его работы.

Ник Бустрём (Bostrom, 2013, p. 24) выразил подобную идею: “Наши текущие представления об аксиологии могут быть ошибочными. Мы можем не знать – по крайней мере, не знать в деталях, – какие исходы будут считаться большой победой человечества. Возможно, мы пока не можем даже представить лучшие исходы для самих себя. Если мы действительно сильно сомневаемся в своих итоговых целях, нам стоит понять, что огромной ценностью обладает альтернативный вариант: сохранение – а также в идеале улучшение – нашей способности распознавать ценности и направлять свое будущее развитие соответствующим образом. Наделить будущую версию человечества огромными силами и умением пользоваться ими с умом – это, вероятно, лучший из доступных нам способов повысить вероятность того, что будущее заключит в себе огромную ценность. Для этого мы должны предотвратить любую экзистенциальную катастрофу”.

Неясно, насколько длительным должен быть этот период размышлений. Я полагаю, что разумно будет потратить на раздумья несколько веков (и даже больше), прежде чем вносить серьезные необратимые изменения в наше будущее, выбрав тот или иной его вариант. С нашей точки зрения может показаться, что это очень долго, но жизнь и прогресс в большинстве сфер не остановятся. Вспомним о таком периоде, как эпоха Возрождения, когда интеллектуальные проекты во многих сферах растягивались на целые века. Если речь идет о чрезвычайно долгосрочных проектах (на реализацию которых уйдут миллионы лет), я полагаю, что мы вполне можем взять даже большее время на раздумья, чтобы наверняка прийти к верному решению.

510

На мой взгляд, с серьезными размышлениями об идеальном будущем лучше всего справляется научная фантастика, и не в последнюю очередь это объясняется тем, что ей позволено рисовать миры, где уровень технологического развития значительно превышает текущий. В “твердой” научной фантастике описываются общества, амбиции и достижения которых ограничиваются лишь фундаментальными физическими законами. В “мягкой” научной фантастике рассматривается, что может пойти не так, если различные идеалы нашего времени будут доведены до крайности, и какие новые этические проблемы возникнут, если новые технологии откроют нам радикально новые пути для личного и общественного развития. Прекрасным примером, в котором объединяются оба поджанра, служит “Диаспора” (1997) Грега Игана, где почти все существа цифровые, что сильно меняет пространство возможной утопии.

Однако у таких рассуждений есть и минусы, поскольку они ограничены рамками художественных произведений. Из-за этого приходится соблюдать баланс между тем, чтобы исследовать миры, которые действительно могли бы быть утопиями, и делать их достаточно интересными для читателя, как правило допуская существование фундаментальных угроз благополучию человечества. И это значит, что внимание критиков направляется главным образом на стиль, раскрытие образов и тому подобные вещи, а конструктивные попытки авторов создать и детализировать свою картину будущего отходят на второй план.

511

Поскольку спрогнозировать итоги раздумья непросто, запустить процесс, вероятно, будет легче: нам поможет покров неведения. Если бы нам было более или менее ясно, к какому из вариантов будущего в конце концов подтолкнет нас долгое раздумье, у нас возник бы соблазн судить об этом в свете текущих представлений об этике. В таком случае те, чьи текущие виды на будущее далеки от того, каким оно станет в итоге, вероятно, захотели бы воспрепятствовать этим размышлениям. Однако, поскольку сейчас мы никак не можем сказать, к чему нас приведет этот процесс, мы все понимаем, что лучше выбрать будущее по дополнительном размышлении, вместо того чтобы просто вступать в противоборство, отстаивая свои текущие взгляды. Этот покров неведения, вероятно, сможет даже решить проблемы, возникающие из за того, что люди до абсурда уверены в своих взглядах. Ведь если представители каждого из лагерей полагают, что их позиция исключительно хорошо подкрепляется аргументами, они также будут считать, что именно их точка зрения возобладает по окончании тщательного размышления.

512

Если компромиссные варианты покажутся нам даже менее привлекательными, чем любой из “чистых” вариантов, с которых мы начинали, в конце концов можно просто сделать случайный выбор из оставшихся у нас чистых вариантов – например, присвоив им вероятности в зависимости от степени их поддержки.

Но я полагаю, что существуют и взаимовыгодные компромиссы. Например, теории морали можно разделить на те, в которых оценка ценности исходов повышается примерно в соответствии с увеличением объема расходуемых ресурсов, и те, где отдача резко падает. К первому типу относится классический утилитаризм, в соответствии с которым две галактики могут поддерживать вдвое больше счастья, чем одна, а следовательно, дают вдвое большую отдачу. Ко второму типу можно отнести практическую мораль, ведь интуитивно большинство людей не видит смысла в том, чтобы обеспечивать процветание за пределами планеты или галактики. Такие различия открывают путь к компромиссам, которые кажутся весьма выгодными обеим сторонам. Я называю этот феномен моральным компромиссом (Ord, 2015).

В частности, можно заключить “великий компромисс” между теориями морали, если сторонники теорий о падающей предельной полезности ресурсов решают, что делать с будущим нашей галактики, а сторонники теорий о высокой ценности дополнительных ресурсов решают, что делать с будущим всех остальных галактик во Вселенной (если только они не пускают ресурсы на вещи, которые активно не одобряют сторонники первых теорий). Конфликта удастся избежать, если каждая из групп увидит, что исход более чем на 99 % совпадает с оптимальным, а следовательно, выгода оказывается гораздо большей, чем если они вступят в борьбу за контроль над будущим или решат, к кому он перейдет, бросив жребий.

513

Возможно, для успешного долгого раздумья нужно будет расширить наши способности в результате одного из таких радикальных изменений. В таком случае мы окажемся в щекотливом положении, ведь нам придется сравнивать риск, сопряженный с внесением изменения, последствия которого непредсказуемы, с риском упустить при раздумье нечто важное, если наши способности останутся на прежнем уровне.

514

Для наглядности можно сравнить этот период с эпохой Возрождения. Большинство людей в Европе не принимало активного участия в возрождении культуры и накоплении знаний, и все же это грандиозный проект, которым прославилась Европа XIV–XVII веков. Различия в том, что долгое раздумье должно охватить весь мир, а принять в нем участие должно быть проще.

515

Schell (1982), p. 229.

516

Долгое раздумье может наложиться на последний этап реализации нашего потенциала, и они могут достаточно долго идти параллельно. Дело в том, что раздумья необходимы лишь перед совершением необратимых действий. Если обсуждение некоторых необратимых действий завершится раньше, их можно будет предпринимать, продолжая дискуссию об остальных шагах.

517