Чтение онлайн

«Я был впечатлён, увидев, что AlphaStar проворачивает продвинутые ходы и различные стратегии практически в каждой игре, используя очень человеческий стиль игры, которого я не ожидал… из-за этого игра предстала в совершенно новом свете. Мы все с нетерпением ждём, что будет дальше», — сказал MaNa.

Ещё одним источником претензий к игре AlphaStar стала скорость выполнения ботом действий. Лучшие игроки StarCraft могут довольно быстро отдавать команды своим юнитам, тот же MaNa в своём матче с AlphaStar осуществлял в среднем 390 действий в минуту (Actions per minute, APM) (т. е. более шести действий в секунду!). Многие из таких действий не требуют предварительных сложных расчётов, и, например, в момент сражения больших армий AlphaStar теоретически мог бы легко выполнять тысячи действий в минуту, что находится далеко за пределами возможностей любого игрока-человека. Чтобы избежать этого и сделать соревнование более честным, специалисты DeepMind ввели жёсткие лимиты на количество действий бота. В матчах с MaNa AlphaStar использовал следующие ограничения: максимум 600 APM в течение 5 секунд, 400 в течение 15 секунд, 320 в течение 30 секунд и 300 в течение минуты. Однако 5 секунд — довольно долгий период для StarCraft II. При таких ограничениях AlphaStar мог совершить 50 действий уже в первую секунду или по 15 действий в секунду в течение трёх секунд, что всё-таки заметно выше, чем у профессиональных игроков-людей. При этом AlphaStar мог совершать клики по карте с хирургической точностью, в то время как люди испытывают на себе механические ограничения со стороны устройств ввода, таких как компьютерные мыши [1989] . Также AlphaStar мог заниматься микроменеджментом битв, оптимально перенося огонь с одной цели на другую за доли секунды, что нереально для человеческой реакции.

В ответ на критику разработчики из DeepMind ввели более строгие ограничения на скорость, снизив её до 22 действий за 5 секунд. Несмотря на новый лимит, после 44 дней обучения AlphaStar сумел пробиться в элитную группу, получить звание GrandMaster (при игре за каждую из трёх игровых рас) и войти в число 0,15% лучших игроков на серверах Battle.net.

В ноябре 2019 г. AlphaStar со счётом 4 : 1 одолел одного из сильнейших игроков мира — финна Йоону Соталу, известного под ником Serral. Впрочем, Serral играл не на своём оборудовании, что в мире профессионального StarCraft обычно является заметной форой [1990] . Несмотря на успехи AlphaStar, пока преждевременно говорить о сверхчеловеческом уровне его игры, но то, что бот играет как минимум на уровне наиболее опытных профессионалов, уже ни у кого не вызывает сомнения.

Обычно разработчики стратегий, подобных StarCraft, внимательно следят за балансом игры и оперативно корректируют характеристики юнитов, рас и других игровых объектов, если вдруг выясняется, что какие-то из них дают игрокам слишком большие преимущества над соперниками. Проблема заключается в том, что баланс основывается именно на человеческих возможностях управления юнитами, а они ограничены не только скоростью отдаваемых команд, но и, например, возможностью точно выделить нужный юнит в свалке сражения, выждать строго определённый промежуток времени между кликами, быстро переключаться между несколькими участками карты и так далее. Потенциально это позволяет машине склонить баланс в свою сторону благодаря её нечеловеческим способностям. Сложно объективно измерить конкретное преимущество, которое получает в результате машина, но игроки не раз отмечали ситуации, когда, по их мнению, AlphaStar выигрывал именно за счёт сверхчеловеческого микроконтроля [1991] , [1992] . Впрочем, у проигравших всегда находятся оправдания, вопрос лишь в том, насколько они убедительны. В целом создатели AlphaStar стремились ограничить возможности машины таким образом, чтобы сделать их максимально приближёнными к человеческим и избежать любых обвинений в нечестной игре. Но, как мне кажется, даже если бы были приняты абсолютно все возможные меры, хор критических голосов вряд ли стал бы существенно тише.

Для обучения AlphaStar используется масштабируемая система с различными типами распределённых «воркеров» (подсистем, отвечающих за выполнение тех или иных повторяющихся подзадач). Одновременное проведение 16 000 матчей обеспечивается за счёт параллельной работы 16 акторов [actor], осуществляющих выполнение [inference] управляющих ботами нейронных сетей. Каждый актор работает на выделенном для него TPU третьей версии (содержащем восемь тензорных ядер). Экземпляры игры выполняются на CPU (в моменте задействуется эквивалент примерно 4200 физических ядер), но при этом запросы к акторам объединяются в пакеты для более эффективного использования TPU. Акторы по сети отправляют последовательности наблюдений, действий и вознаграждений центральному воркеру, использующему 128 ядер TPU для обновления весов нейронной сети. Архитектура сети довольно сложна и включает в себя блоки LSTM (с механизмом внимания), свёрточные и развёрточные слои (в том числе с перепрыгивающими соединениями), а также слои трансформеров (о них мы будем говорить немного позже) [1993] .

На сегодняшний день AlphaStar является, по всей видимости, наиболее сложной системой игрового ИИ, созданной человеком, и представляет собой настоящий памятник человеческому разуму и вдохновенному труду исследователей, бросивших вызов сложнейшим проблемам современной науки и технологии.

Конечно, задачи в области распознавания образов могут возникать в отношении любых разновидностей данных, и совсем не обязательно эти данные должны быть результатом оцифровки изображений или звука.

В науке нейронные сети позволили добиться прогресса в решении задач газогидродинамики; они успешно применяются, например, при работе с усреднёнными по Рейнольдсу уравнениями турбулентности Навье — Стокса (Reynolds-averaged Navier–Stokes, RANS), позволяя повысить производительность вычислений [1995] , [1996] .

Свёрточные нейронные сети неплохо показали себя при решении задачи о поиске быстрых радиовсплесков (Fast Radio Bursts, FRB), успешно обнаружив нужные закономерности в данных, собранных радиотелескопами [1997] .

Нейронные сети неплохо показали себя в биохимии — например в предсказании свойств сложных соединений по их структурным формулам [1998] .

В медицине глубокие нейронные сети применяются для поиска аномалий в электрокардиографических данных [1999] , а также при анализе данных электроэнцефалографии [2000] . Автоматизация обработки сигналов медицинских датчиков привела к созданию множества носимых устройств [wearables] для спортивных и медицинских целей. Анализируя данные с гироскопов и акселерометров носимых устройств, нейронные сети могут распознавать различные виды человеческой активности (ходьбу, бег, подъём по ступеням, сон и т. д.) и даже прогнозировать ожидаемую продолжительность жизни (разумеется, с весьма заметной погрешностью) [2001] .

Несмотря на проблему размерности данных, в последние годы удалось успешно применить свёрточные нейронные сети не только для анализа статичных двумерных изображений, но также и для анализа видео и трёхмерных снимков (например, данных магнитно-резонансной томографии [2002] ).

В беспилотных автомобилях нейронные сети обрабатывают данные лидаров [2003] , [2004] .

Глубокие нейронные сети прекрасно справляются с поиском закономерностей в финансовых транзакциях. Например, при помощи вейбулловских временно-событийных рекуррентных нейронных сетей (Weibull Time To Event Recurrent Neural Network, WTTE-RNN) удаётся довольно точно предсказывать момент ухода клиента банка [2005] .

Нейронные сети применяют для анализа профилей [2006] и поведения людей в социальных сетях [2007] . При помощи некоторых трюков нейронные сети можно научить анализу графов [2008] и даже построению рассуждений в символьных системах [2009] , то есть решению задач, традиционно являющихся прерогативой символьных моделей ИИ.

Многие задачи ИИ требуют совмещения данных, принадлежащих к различным модальностям. Например, системы распознавания речи могут использовать данные видеоканала, получая дополнительные данные за счёт наблюдения за губами говорящего [2010] . А система, предназначенная для рекомендации блюд, может учитывать не только данные из рецепта, но и сведения о структуре вкусовых рецепторов человека [2011] . В последнее время нейросети способны успешно конкурировать с людьми даже в распознавании запахов и описании их при помощи естественного языка [2012] . Примеров таких мультимодальных задач в области ИИ довольно много.

В наши дни глубокие нейронные сети так популярны, что их используют даже там, где раньше никому бы в голову не пришло применить коннекционистскую модель. И нередко такие эксперименты приводят к успеху.

Многие применяемые сегодня системы представляют собой синтез символьных и коннекционистских подходов. Символьные методы часто применяются для преобразования данных в форму, удобную для подачи их в нейросетевую модель. В свою очередь, выход нейросетевой модели может служить входом для классических моделей, построенных на системах правил или методах поиска в деревьях и графах. Поэтому нередко коннекционистские модели не вытесняют классические методы, а, напротив, дают им второе рождение, как это произошло, например, с MCTS.

Специалисты активно исследуют гибридные модели, такие, например, как нейронные машины Тьюринга (Neural Turing Machine, NTM) [2013] или дифференцируемые нейронные вычислители (Differentiable neural computers, DNC) [2014] . В этих моделях нейросетевые контроллеры используются для работы с адресуемой памятью, что позволяет успешно находить алгоритмы обработки данных, недоступные пока традиционным рекуррентным нейросетевым архитектурам. Сегодня модели, подобные NTM и DMC, объединены в большой класс, получивший название MANN (Memory-Augmented Neural Networks, Нейронные сети, дополненные памятью) [2015] .