Чтение онлайн

401

Silver et al. (2018). Нужно осторожно относиться к таким цифрам и учитывать, какое оборудование использовалось. При обучении AlphaZero использовался гигантский объем вычислительной мощности (5000 тензорных процессоров), а значит, за указанные четыре часа она смогла смоделировать огромное количество партий в шахматы против других версий себя и таким образом нащупать наиболее выигрышную стратегию. Это важная оговорка при сравнении достижений AlphaZero с другими прорывами, поскольку программное обеспечение было усовершенствовано не так сильно, как кажется на первый взгляд. Но я думаю, что, оценивая риск, сопряженный с ИИ, важно знать, сколько времени система потратила на обучение, поскольку это показывает, как быстро ИИ-система может выйти из под контроля в реальном времени.

402

Strogatz (2018).

403

Возможно, AlphaZero даже превзошла тот уровень, который лучшие игроки в го считали идеальным. Принято думать, что для победы в партии, которую противник ведет идеально, лучшим игрокам нужна фора в три-четыре камня (Wilcox & Wilcox, 1996). Через 30 часов AlphaZero оказалась более чем на 700 пунктов рейтинга Эло выше лучшего из профессиональных игроков. Хотя сложно перевести фору в пункты рейтинга на таком исключительно высоком уровне игры, это примерно соответствует прогнозам для идеального ведения партии (Labelle, 2017). Было бы любопытно посмотреть, как AlphaZero играет с лучшими игроками, увеличивая фору, и понять, на сколько камней она опережает их в реальности.

404

Строго говоря, Кэ Цзе имел в виду версию AlphaGo Master, которая появилась раньше AlphaGo Zero (Wall Street Journal, 2017).

405

Прорывом стал алгоритм DQN (Mnih et al., 2015), в котором успешно соединились глубокое обучение и обучение с подкреплением. DQN продемонстрировал человеческий уровень в 29 из 49 игр Atari. Однако он не был в полной мере общим: как и при обучении AlphaZero, для каждой игры приходилось обучать отдельную копию сети. Впоследствии удалось обучить единую сеть играть во все игры на человеческом уровне и лучше, добившись среднего показателя в 60 % от человеческого уровня (Espeholt et al., 2018).

406

Посещаемость одной из главных конференций, NeurIPS, в период с 2012 по 2018 год повысилась в 4,8 раза. Объем венчурных инвестиций в ИИ в период с 2013 по 2018 год вырос в 4,5 раза (Shoham et al., 2018).

407

Основано на данных из Brundage et al. (2018), Coles (1994) и Shoham et al. (2018). Иллюстрации взяты в Goodfellow et al. (2014), Radford, Metz & Chintala (2015), Liu & Tuzel (2016) и Karras et al. (2017).

408

Анкету разослали всем исследователям, которые заявили свои работы на две ведущие конференции по машинному обучению в 2015 году (NeurIPS и ICML). Данные получены из ответов 352 откликнувшихся исследователей (Grace et al., 2018).

409

Любопытно, что наблюдалось существенное и статистически значимое различие между сроками, которые называли исследователи с разных континентов. Исследователи из Северной Америки полагали, что вероятность достигнет 50 % за 74 года, а исследователи из Азии считали, что на это уйдет всего 30 лет (европейцы занимали промежуточную позицию).

Обратите также внимание, что приведенная оценка, вероятно, довольно ненадежна. Часть респондентов отвечала на вопрос, сформулированный несколько иначе (последствия для рынка труда оценивались через освоение любой профессии, а не выполнение любой задачи). Они оценили, что с вероятностью 50 % поставленное условие будет выполнено к 2138 году, а с вероятностью 10 % – уже к 2036 году. Я не знаю, как трактовать такое расхождение, но оно наталкивает на мысль, что к этим оценкам следует относиться осторожно.

410

Если брать за ориентир что либо другое, нужно полагать, что вы способны систематически прогнозировать успехи соответствующего научного сообщества лучше, чем оно само. Основанием для этого может служить чрезмерный оптимизм специалистов при оценке своих шансов достичь поставленных целей, однако не стоит забывать, что общественность ожидает появления ОИИ еще раньше (Zhang & Dafoe, 2019).

411

Эта аналогия не идеальна. Исследователи ИИ не пытаются создать новый вид и выпустить его в дикую природу, а разрабатывают новые сущности для решения проблем. Однако все большее их число применяет для этого интеллект общего назначения, в который заложены свобода выбора и способность к самостоятельным действиям. Как мы увидим, текущая парадигма ОИИ естественным образом приобретает дополнительную установку на захват контроля над миром, чтобы защитить себя и добиться своей цели.

Теоретически могло бы существовать несколько видов, каждый из которых вершил бы свою судьбу, но в таком случае их амбиции должны быть достаточно скромными, а силы – недостаточными для того, чтобы ощутимо мешать друг другу.

412

Вполне вероятно, что наши ценности в итоге сводятся к чему то простому, например к классической утилитаристской доктрине повышения суммы положительного опыта. Но даже здесь возникают две серьезных трудности. Во-первых, даже положительный опыт слишком сложен и плохо изучен, чтобы мы сегодня могли объяснить его агенту. Возможно, в будущем, когда мы поймем природу опыта, появится простая формулировка, но пока ее нет. Во-вторых, вопрос о том, считать ли классический утилитаризм лучшей моральной доктриной, остается предметом (ожесточенных) споров. Если применим его принципы и окажемся неправы – например, упустим другие ключевые характеристики жизненного блага или не сможем объяснить, как следует его оптимально распределять, – мы окажемся заперты в ловушке в гораздо менее приятном для жизни мире. Я симпатизирую классическому утилитаризму сильнее, чем большинство философов, но все равно не стал бы этим рисковать. Думаю, нам всем стоит всерьез воспринимать такую моральную неопределенность.

413

Лично я полагаю, что вообще то человеческие ценности во многом сходятся. Мы неспроста уделяем основное внимание различиям, а не тому факту, что почти все мы отдаем предпочтение более долгой, здоровой и благополучной жизни, контролю над своей судьбой, процветающей среде и так далее. Я бы предложил такую схему: обеспечить, чтобы ИИ-системы поддерживали жизненные ценности, которые не вызывают споров, но с осторожностью относились к оспариваемым и неоднозначным ценностям, а ответственность за разрешение этих споров и неоднозначности путем размышлений и дискуссий возложить на плечи людей будущего.

414

Повесть американского писателя-фантаста Джека Уильямсона (With Folded Hands, 1947). – Прим. ред.

415

Можно рассмотреть происходящее с технической точки зрения. Стюарт Рассел (2014) сравнивает это с распространенной проблемой оптимизации: “Система, которая оптимизирует функцию с числом переменных n, где функциональное требование зависит от подмножества размером k

Исследователи проблемы контроля сравнивают ситуацию с законом Гудхарта (Goodhart, 1975): “Любая наблюдаемая статистическая закономерность склонна к разрушению, как только на нее оказывается давление с целью управления”. Изначально этот закон был предложен для того, чтобы анализировать проблемы постановки целей, которые согласуются с нашими истинными желаниями. Хотя намеченные цели могут и выполняться, часто в процессе они перестают соответствовать тому, что нам действительно важно.

416