Чтение онлайн

448

Еще одним вероятным примером могут служить миры, где мы отказываемся от всех попыток покинуть Землю (возможно, чтобы оставить небеса нетронутыми). См. главу 8, где я рассуждаю о том, почему главное, чего мы можем достичь, стоит искать за пределами Земли.

449

Тринадцатая поправка гласит: “Запрещается вносить в Конституцию поправки, которые наделяют Конгресс полномочиями ликвидировать или видоизменять местные институты любого из штатов, включая институт принудительного труда или услужения, предусмотренный законами этого штата”.

Поправка была принята Конгрессом и даже поддержана Линкольном, но так и не ратифицирована. Неясно, могла ли она сработать, поскольку осталась бы возможность сначала аннулировать ее, а затем отменить рабство. Кроме того, она не гарантировала бы сохранение рабства навсегда, поскольку каждый из рабовладельческих штатов все равно был бы в состоянии отменить рабство на своей территории (Bryant, 2003).

450

По крайней мере, если его не подтолкнет к этому ранняя разработка продвинутого ОИИ. Такую катастрофу лучше причислять к рискам, сопряженным с ИИ.

451

Обратите внимание, что даже при таком подходе варианты могут считаться плохими в инструментальном смысле, если отсекают многие другие варианты. Следовательно, отсечение таких вариантов обретет инструментальную ценность (например, если отсечь вариант, в котором мы намеренно спровоцируем собственное вымирание). В связи с этим можно сделать вывод, что закреплять нам нужно лишь минимизацию блокировки.

Это изящный и логичный принцип, но, вероятно, его можно улучшить, просто ограничив нашу возможность выбирать такие варианты или сделав так, чтобы выбрать их можно было только огромным квалифицированным большинством голосов (такие техники часто применяются при заключении обязательных к исполнению многосторонних соглашений, таких как конституции и контракты). Так мы поможем себе не вымереть случайно (при явном отказе здравого смысла в любом обществе), но сохраним гибкость на тот маловероятный случай, если позже мы поймем, что наше вымирание будет только к лучшему.

452

Главная причина такого разброса вероятностей в том, что самовоспроизводящиеся машины кажутся технологически гораздо более сложными, чем фабрикаторы, и гораздо медленнее выходят на самоокупаемость, а потому над ними работают гораздо меньше (Phoenix & Drexler, 2004). Однако научное любопытство и возможность нишевого применения технологии в конце концов заставят нас испробовать ее, и на этот случай нужно разработать меры безопасности.

Атомарно точное производство позволит наладить дешевое производство ядерного оружия. Можно подумать, что такое невозможно, поскольку эта технология лишь перестраивает атомы, а атомы урана и плутония не входят в сырьевую базу. Но уран вообще то содержится в морской воде, и его концентрации лишь немного не хватает, чтобы его добыча с помощью существующих технологий стала экономически целесообразной (Schneider & Sachde, 2013). Снижая затраты на производство оборудования для добычи урана (и снижая энергетические затраты на его эксплуатацию путем применения солнечной энергии), атомарно точное производство может сделать уран гораздо более доступным. Злоумышленнику все равно придется обогащать концентрацию урана-235, чтобы создать материал, подходящий для производства оружия, но и это, вероятно, станет дешевле и проще с появлением такой мощной производственной технологии общего назначения.

453

Очевидно, что вероятность экзистенциальной катастрофы, вызванной обратным загрязнением с Марса, должна быть очень мала, если учесть все сложности, которые ей нужно будет преодолеть. Для этого на поверхности Марса должна все таки быть жизнь, хотя марсианские условия крайне суровы, а все прошлые попытки найти признаки жизни на планете ни к чему не привели. Но даже если бы на Марсе была жизнь, она должна была бы приспособиться к совершенно другой земной среде и суметь причинить ущерб экзистенциального масштаба. В формальных исследованиях этот риск, как правило, признается очень небольшим, но подходить к нему все равно рекомендуется с предельной осторожностью (Ammann et al., 2012).

Хотя вероятность на первый взгляд невелика, о необходимости принятия мер с целью предотвращения обратного загрязнения с других планет и лун говорится в подписанном в 1967 году Договоре о космосе, который представляет собой юридическую основу международного космического законодательства. Экзистенциальный риск, вызываемый обратным загрязнением, был одним из первых упомянут в философской литературе (Smart, 1973, p. 65): “Подобные долгосрочные катастрофические последствия должны предусматриваться при планировании полетов на другие планеты, если существует хоть какая то, пусть даже малая, вероятность того, что на этих планетах есть вирусы или бактерии, к которым у земных организмов нет иммунитета”.

Впервые о риске обратного загрязнения заговорили в период высадки на Луну. Еще не было подтверждения, что Луна стерильна, и главный санитарный врач США настоял, чтобы NASA приняла серьезные меры предосторожности, утверждая, что небезосновательно будет выделить 1 % бюджета ради предотвращения ужасной катастрофы на Земле (Atkinson, 2009). В конце концов на разработку карантинной системы ушло около 8 млн долларов, то есть менее двадцатой части от общей стоимости космической программы “Аполлон” (Mangus & Larsen, 2004).

Наши знания в области микробиологии растут, и теперь мы понимаем, что созданная система была несовершенна (в частности, мы еще не знали о существовании ультрамикробактерий и агентов переноса генов). Это дает нам повод задуматься о состоятельности имеющихся у нас знаний.

Хуже того, техника практически не подвергалась проверке и никто не горел желанием использовать карантинную систему, когда это противоречило другим задачам миссии. Например, когда изначальный план поднять командный модуль из моря был отвергнут за неимением подходящего крана, было решено, что астронавтам придется покинуть модуль, пока он будет оставаться на плаву. В результате в океан почти наверняка попала мелкая лунная пыль, и потому другие аспекты карантинной системы представляются спорными (National Research Council, 2002). Следовательно, у нас не получилось должным образом разобраться с этим (очень маленьким) экзистенциальным риском.

Насколько мне известно, при обсуждении проблемы обратного загрязнения с Марса к этим вопросам относятся с гораздо большей серьезностью (и они не вступают в противоречие с нуждами экипажа).

454

Вероятность экологической катастрофы, вызванной незащищенным образцом, как правило, считается невысокой. Можно относиться к подобным мерам безопасности как к попытке снизить соответствующую вероятность еще в миллион раз (Ammann et al., 2012).

Я сильно сомневаюсь, что вероятность действительно можно настолько снизить, и исследователи, похоже, не учитывают, что утечки патогенов происходят даже из лабораторий уровня BSL-4 (о чем мы говорили ранее в этой же главе). Возможно, однако, что вероятность утечки можно будет снизить примерно до одного к тысяче, а это существенный шаг вперед по части карантина в сравнении с программой “Аполлон”.

455

Хотя я бы порекомендовал просто подождать еще несколько десятилетий – до тех пор, пока мы, предположительно, не сможем провести большинство этих испытаний прямо на Марсе. Пусть риск мал и достаточно хорошо контролируется, но нужно ли нам вообще на него идти?

456

Одна причина, по которой это маловероятно, заключается в том, что пока не найдено никаких признаков существования другой разумной жизни в космосе. См. примечание 46 к главе 2, где я излагаю свои соображения о “парадоксе Ферми” и том, действительно ли мы одни во Вселенной.

Другая причина в том, что инопланетяне могли бы прилететь сюда в любой из миллионов других веков, поэтому вероятность того, что впервые они прилетят к нам именно сейчас, очень невелика. Этот аргумент можно отвергнуть, если считать, что внеземная цивилизация просто выжидала подходящего момента, но в таком случае это значительно более продвинутая цивилизация, чем наша, и мы неминуемо окажемся в ее власти. Тот факт, что мы вряд ли можем предпринять хоть какие то значимые действия, чтобы ей противостоять, не меняет общей вероятности возникновения экзистенциального риска из за столкновения с враждебной внеземной цивилизацией, но позволяет предположить, что такой риск будет чисто схоластическим, поскольку в реальности мы вряд ли сумеем существенно повысить или снизить его.