Чтение онлайн

Центр совместимого с человеком ИИ, основанный Расселом, стал одной из ведущих исследовательских организаций, где изучаются вопросы контроля ИИ. Книга Рассела “Совместимость” (2019) – революционное и прекрасно написанное введение в проблему создания безопасного общего искусственного интеллекта.

429

Шейн Легг, один из основателей и старший исследователь компании DeepMind, руководит в ней исследованиями безопасности ИИ. Когда в ходе интервью его спросили, какова вероятность вымирания человечества в течение года после разработки ОИИ, он сказал (Legg & Kruel, 2011): “Не знаю. Может, 5 %, может, 50 %. Вряд ли кто то в состоянии дать надежную оценку… На мой взгляд, это главный риск текущего столетия, а на втором месте с небольшим отрывом стоит появление искусственно созданного биологического патогена (хотя об этом я мало что знаю)”.

430

Алан Тьюринг (1951), один из изобретателей компьютера, стоявший у истоков исследования искусственного интеллекта: «…кажется вероятным, что машинное мышление, появившись, быстро превзойдет наши скромные способности. Вопроса о смерти машин даже не встанет, поскольку они смогут общаться друг с другом, чтобы оттачивать свой ум. Следовательно, на каком то этапе нам стоит ожидать, что машины захватят контроль, примерно как в романе Сэмюела Батлера “Едгин”».

Этот роман Сэмюела Батлера (1872) был написан на основе его эссе “Дарвин среди машин” (Butler, 1863), в котором, пожалуй, впервые рассматривается экзистенциальный риск, связанный с разумными машинами.

Опасениям Тьюринга вторил и его коллега-криптограф, видный статистик и пионер компьютерных наук И. Дж. Гуд (1959): “Как только будет создана достаточно хорошая машина… ее можно будет применить для создания еще более совершенной машины. На этом этапе явно случится «взрыв», все задачи науки и технологии будут переданы машинам, а людям больше не придется работать. Это может привести либо к утопии, либо к уничтожению рода человеческого в зависимости от того, как машины будут подходить к проблеме. Важно задать им цель служить людям”.

Пионер ИИ Норберт Винер рассматривал вопрос о том, как людям удержать контроль над продвинутыми ИИ-системами (Wiener, 1960): “Хотя теоретически машины подвергаются критике со стороны человека, эффект такой критики может сказаться лишь спустя значительное время после того, как потеряет свою актуальность. Чтобы эффективно предотвращать катастрофические последствия, наши знания о рукотворных машинах должны в целом расти параллельно повышению производительности машин. Из-за собственной нерасторопности мы можем упустить контроль над своими машинами”.

Марвин Минский (1984) предупреждал о рисках создания мощных ИИ-прислужников, которые могут неверно трактовать наши истинные цели: “Главный риск связан с тем, что всегда опасно пытаться снять с себя ответственность за осмысление того, как именно будут исполнены наши желания… чем больше возможных способов мы отдаем на откуп этим прислужникам, тем выше становится риск ошибок и несчастных случаев. Если мы делегируем эту ответственность, то можем не понять, пока не станет слишком поздно поворачивать назад, что наши цели трактуются неверно, возможно даже со злым умыслом. Мы видим это в таких классических историях о судьбе, как «Фауст», «Ученик чародея» и «Обезьянья лапка» У. У. Джекобса”.

Пионер обучения с подкреплением и соавтор самого популярного учебника по этому предмету Ричард Саттон утверждает, что “несомненно, есть немалая вероятность, что в течение ожидаемого срока нашей жизни” будет создан ИИ человеческого уровня, а затем добавляет, что агенты ИИ “не будут поддаваться нашему контролю” и что “если мы создадим сверхразумных рабов, то у нас появятся сверхразумные противники”. Он заключает: “Нам нужно внедрить механизмы (социальные, правовые, политические, культурные), чтобы удостовериться, что все получится”, но “неизбежно значимость обычных людей снизится” (Sutton, 2015), (Alexander, 2015).

О рисках, сопряженных с ИИ, высказывались и другие ведущие исследователи, включая Джеффа Клюна (2019): “…даже если есть лишь небольшая вероятность, что мы создадим опасный ИИ или вызовем неописуемые страдания, издержки так велики, что мы должны обсуждать такую возможность. По аналогии, если бы с вероятностью 1 % через десять или сто лет на Землю упал бы астероид, способный уничтожить цивилизацию, было бы глупо не начать дискуссию о том, как отследить его и предотвратить такую катастрофу”.

Ян Гудфеллоу (OSTP, 2016): “Очень долго будет важно создавать ИИ-системы, которые понимают ценности своих пользователей и настроены в соответствии с ними… Исследователи начинают изучать этот вопрос, и государственное финансирование могло бы помочь сообществу заранее решить его, а не пытаться разбираться с серьезными проблемами после их возникновения”.

431

Szilard & Winsor (1968), pp. 107–108.

432

Хотя в открытом письме содержались в основном утверждения общего характера (Future of Life Institute, 2015), в прилагающейся к нему программе исследований четко говорилось о необходимости изучать стоящие перед человечеством риски того типа, который обсуждается в этом разделе (Russell, Dewey & Teg-mark, 2015).

433

Future of Life Institute (2017).

434

Это была выдержка из работы Russell (2014), и она близка к приведенным здесь аргументам.

435

Это поразительно высокая оценка. Полагаю, так высоко вероятность того, что их работа приведет к катастрофически плохим последствиям для человечества, могли бы оценить еще разве что ученые-атомщики накануне создания бомбы. И все же я благодарен исследователям за честность в этом вопросе.

436

См., например, доводы Пинкера в книге “Просвещение продолжается” (2018, p. 300).

437

Демис Хассабис открыто говорит об этих вещах (Bengio et al., 2017): “Сейчас нам важнее всего сосредоточиться на проблеме координации. Нам хотелось бы избежать губительной гонки к финишу, в которой будут срезаться углы и страдать безопасность. Это станет серьезной проблемой мирового масштаба”.

438

Если бы системы могли совершенствовать собственный интеллект, это, возможно, вызвало бы каскадный эффект, называемый “интеллектуальным взрывом”. Это могло бы случиться, если бы при повышении уровня интеллекта повышались и способности системы к самосовершенствованию. Первым на это обратил внимание И. Дж. Гуд (1959), и это вполне правдоподобный механизм того, как прогресс может быстро выйти из под контроля. В упоминавшемся ранее опросе (Grace et al., 2018) 29 % респондентов посчитали вероятным, что аргумент в пользу того, почему нам следует ожидать интеллектуального взрыва, в целом верен.