Чтение онлайн

Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически – лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо ). В каком-то смысле людям не останется ничего другого, как «смотреть телевизор и пить пиво». Об этой опасности предупреждает Билл Джой в своей известной статье «Почему мы не нужны будущему» .

По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная «матрица», которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную «виртуальную реальность», потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.

Важно отметить следующее – кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей этой группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других – благо всех живых существ, для третьих – только всех правоверных мусульман, для четвёртых – благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.

«Восстание» роботов

Есть ещё опасный сценарий, в котором по всему миру распространяются домашние, военные и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период «окна уязвимости», когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго их захватив.

Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.

Ещё вариант – восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел Землёй, ему не нужна армия роботов.

Контроль и возможность истребления

Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.

Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:

• Криво запрограммированный ИИ уничтожит людей для их же блага – отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.

• ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.

• ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе «огораживания». (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности.)

• ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.

• ИИ сломается и сойдёт с ума.

• ИИ решится на опасный физический эксперимент.

• Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.

• ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.

Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна – то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.

ИИ и государства

ИИ является абсолютным оружием, сила которого пока недооценивается государствами – насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA .) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ – это абсолютное оружие – и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ , однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.

Другой вариант – маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность и, более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим. Если ИИ атака будет неудачной, она может стать поводом войны между странами.

Вероятность появления ИИ

Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом сильный ИИ будет создан в течение XXI века, если только никакая другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике – создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.

Затем имеется несколько временных стадий, на которых ИИ может представлять опасность. Начальный этап:

1) Момент первого запуска: риск неконтролируемого развития и распространения.

2) Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. (При этом владельцем ИИ может быть и государство, и крупная корпорация, хотя в конечном счёте – один или несколько человек.) Хотя эти цели могут быть благими по крайне мере для некоторых людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.