Чтение онлайн

Но нельзя сказать, что такой исход гарантирован. Начать хотя бы с того, что ИИ для этого должен быть способен исследовать ИИ не только лучше человека, но и лучше всего исследовательского сообщества ИИ (при сравнимых затратах). Следовательно, мы, возможно, успеем заметить, что система находится примерно на человеческом уровне, прежде чем дело дойдет до интеллектуального взрыва.

Кроме того, сложность каждого следующего шага на пути к повышению интеллекта системы будет, возможно, расти быстрее, чем уровень ее интеллекта, и тогда потенциал “взрыва” быстро сойдет на нет. Предполагается, что в какой то момент он действительно должен сойти на нет, и поэтому главный вопрос в том, есть ли где то ближе к началу процесса промежуток, когда усовершенствования порождают еще большие усовершенствования. Подробнее об этом см. у Bostrom (2014, p. 66).

439

Metz (2018). Согласен и Стюарт Рассел (Flatow, Russell & Koch, 2014): “Я замечаю, что ведущие исследователи отрасли, которые никогда публично не высказывали никаких опасений, негласно полагают, что к этому вопросу нам следует относиться со всей серьезностью, причем чем раньше мы начнем воспринимать его всерьез, тем лучше”.

Советы Хассабиса и Рассела вторят заблаговременному предупреждению И. Дж. Гуда (1970): “Даже если вероятность появления ультраинтеллектуальной машины невелика, это приведет к таким серьезным последствиям, будь они хоть плохими, хоть хорошими, что нам пора бы рассматривать такую возможность. Как бы то ни было, я надеюсь, что к 1980 году мы успеем в деталях обсудить последствия этого и необходимые меры безопасности, и это главная причина, по которой я поднимаю этот вопрос: пора начинать дискуссию”.

Если бы мы последовали совету Гуда, сегодня мы, возможно, оказались бы на несколько десятилетий впереди, а грозящий нам риск был бы небольшим и хорошо контролируемым.

440

В худших случаях, возможно, даже имеющем отрицательную ценность – а такой исход хуже вымирания.

441

Orwell (1949, p. 121; перевод В. Голышева) четко это формулирует: “Правящая группа теряет власть по четырем причинам. Либо ее победил внешний враг, либо она правит так неумело, что массы поднимают восстание, либо она позволила образоваться сильной и недовольной группе средних, либо потеряла уверенность в себе и желание править. Причины эти не изолированные; обычно в той или иной степени сказываются все четыре. Правящий класс, который сможет предохраниться от них, удержит власть навсегда”.

442

Можно даже сказать, что таким стал первый в истории серьезный экзистенциальный риск. С этой точки зрения первая волна антропогенного экзистенциального риска поднялась из за этих опасных идеологий, которые были открыты совсем недавно, и глобализованный мир, возможно, не в силах будет ее сдержать. Технологические риски (начиная с ядерного оружия) представляют собой вторую волну.

В поддержку этой идеи можно вспомнить о характерной для нацистской Германии риторике о “тысячелетнем рейхе” как свидетельстве стремления создать поистине устойчивый режим. Обратите внимание, что вероятность этого не должна быть особенно высокой, чтобы принимать ее в расчет: вероятно, хватит и одного шанса на тысячу (поскольку это больше, чем годовой природный риск).

Хотя “1984” – художественное произведение, оно свидетельствует, что Оруэлла беспокоила вероятность поистине экзистенциальной катастрофы. Он нарисовал картину мира, пребывающего в состоянии постоянного конфликта между тремя тоталитарными сверхдержавами, каждая из которых коварными социальными и технологическими средствами подавляет любые намеки на сопротивление. Ключевой аспект этой картины в том, что в ней, вероятно, воплотилась необратимая дистопия: “Если вам нужен образ будущего, вообразите сапог, топчущий лицо человека – вечно”. Предвосхищая идею об экзистенциальном риске, он сравнил такой исход с вымиранием: “Если вы человек, Уинстон, вы – последний человек. Ваш вид вымер; мы наследуем Землю. Вы понимаете, что вы один? Вы вне истории, вы не существуете”.

Хотя книга была опубликована в 1949 году, письма военного времени показывают, что Оруэлла действительно тревожили такие перспективы (это были не просто умозрительные построения) и многие его идеи появились еще до создания ядерного оружия (Orwell, 2013). В примере Оруэлла почти ни у кого – даже у элит – не осталось в жизни ничего поистине ценного. Это один из возможных исходов – но ясно, что и менее радикальные могут быть дистопическими, поскольку обнищание масс вполне может перевесить обогащение избранных.

Я считаю, что Оруэлл рисует правдоподобную картину, но в целом я все равно склонен считать первым серьезным (и антропогенным) экзистенциальным риском ядерное оружие (либо из за угрозы воспламенения атмосферы, либо из за угрозы мировой ядерной войны).

443

Обратите, однако, внимание, что, даже если изначально глобальная экспансия не входила в их планы, развитие все равно могло пойти в этом направлении, как только они обеспечили бы себе такую возможность. Даже если сначала у них были средства только для того, чтобы построить режим, способный держаться десятилетиями, это давало время, чтобы разработать технологические и социальные методы, чтобы десятилетия стали веками. За это время режим продолжил бы укрепляться и дальше.

444

Скотт Александер убедительно анализирует такие возможности в книге “Размышления о Молохе” (2014).

445

К. С. Льюис (1943; перевод Н. Трауберг) намекает на эту возможность, анализируя растущую власть человечества над природой, в частности обеспечиваемую генетическими технологиями. Он отмечает, что такая власть вполне может дойти до уровня, где одно поколение (или даже его часть), по сути, сможет определять траекторию развития человечества на все последующие поколения вперед: “Таким образом, речь может идти не о «прогрессе», но об одном столетии (скажем, сотом от Рождества Христова), которому лучше прочих удастся подмять под себя все остальные века и овладеть родом человеческим. Несомненно, в столетии этом, или, скорее, поколении, такой силой будет обладать не большинство, а меньшинство. Если мечты ученых осуществятся, крохотная часть человечества получит власть над многими миллиардами людей”.

446

Большинство нормативных установок обладает этим неочевидным свойством, поскольку задаваемый стандарт поведения не учитывает, что сама установка может быть неверна. Так как фиксация верной установки сопряжена с малыми издержками и большими выгодами, часто установка дает именно такую рекомендацию. К важным исключениям относятся установки, которые вообще не предполагают оглядки на последствия (например, если действия, способные привести к тому, что навсегда закрепится другая установка, не вызывают опасений), и установки с сильным либеральным посылом (например, если другая установка вызывает беспокойство, нормативная теория в явной форме дает свободу ее отвергнуть).

Хотя меня тревожит вероятность преждевременного утверждения нормативной теории, о которой все мы потом пожалеем, я не считаю встроенную в нее рекомендацию к фиксации причиной ее отвергать. Я думаю, что верное решение находится на том уровне моральной неопределенности, который я подробно проанализировал в другой работе (MacAskill, Bykvist & Ord, готовится к публикации). Людям следует сохранять некоторые сомнения в том, какие нормативные теории верны, и это дает нам веские, основанные на моральной неопределенности причины противостоять фиксации теории, даже если мы полагаем, что она с высокой вероятностью верна, поскольку нам надо оградить себя от риска ошибиться.

447

Бустрём (Bostrom 2013) предостерегает нас от этого, а Батлер (Butler 1863, 1872) заигрывает с этой идеей. Она практически гарантировала бы, что продолжительность жизни человечества будет ограничена фоновым уровнем природных рисков (хотя антропогенные риски, разумеется, все равно могут покончить с нами еще раньше). И это точно лишило бы нас возможности увеличить продолжительность своей жизни и расселиться за пределами Земли, хотя в ином случае это было бы в наших силах (и, вероятно, оставалось бы важной частью нашего потенциала).