Чтение онлайн

Первые сети третьего поколения (далее — импульсные сети) появились задолго до работ Маасса. Их история не менее интересна, чем история «конвенциональных» искусственных нейронных сетей. У истоков этого направления стоял биофизик Отто Шмитт, известный в качестве автора термина «биомиметика». Старший брат Отто, Фрэнсис, был биологом и изучал в MIT «молекулярную организацию клеток и тканей с особым акцентом на нервные волокна». Отто выбрал близкую тему для исследований в аспирантуре. Он использовал свои знания в области электротехники, стремясь создать искусственные конструкции, способные имитировать распространение импульсов по нервным волокнам. В результате в 1934 г. увидел свет так называемый триггер Шмитта, реализованный на базе электровакуумных триодов. В 1937 г. Шмитт описал его в диссертации под названием «термионный триггер» [1564] . Как и для Ходжкина и Хаксли, источником вдохновения для Шмитта стала нервная система кальмара. В 1940 г. собственную электрическую схему для моделирования работы нерва создал французский исследователь Филипп Фабр, известный в наши дни как изобретатель электроглоттографии [1565] . В своей работе Фабр ссылается на Лапика, а также на ряд исследователей, изучавших нервную проводимость в 1920–1930-е гг. [1566] , [1567] Конечно, все эти ранние работы (как и ряд более поздних) не ставили перед собой задачу создания вычислительных устройств. Действующие электрические модели нейрона в те годы создавались главным образом для исследований в области физиологии и медицины [1568] . Позже, в 1960 г., на заре эпохи интегральных схем, американский инженер Хьюитт Крейн из Стэнфордского исследовательского института предложил концепцию нейристора [neuristor], способного заменить собой все логические элементы цифровой схемы. Впрочем, признавая, что сам по себе нейристор пока что не создан, автор в качестве варианта предлагал ссылаться на его модель как на «эвристор» [heuristor], чтобы приберечь название «нейристор» до того момента, когда такие устройства будут созданы [1569] . Появление таких устройств не заставило себя ждать. Пионерскими работами в этой области стали конструкции Коута и Нагумо.

В 1960–1970-е гг. было предложено множество различных схем реализации нейронных систем, ряд из которых можно отнести к импульсным сетям. Среди интересных проектов в этой области, осуществлявшихся в то время, стоит упомянуть исследования, выполненные в рамках американо-польского научного сотрудничества. Обширная программа совместных исследований финансировалась в начале 1970-х гг. Национальным научным фондом США с использованием польских займов на покупку пшеницы (Польша приобретала американскую пшеницу, что увеличивало её долг перед США, которые снижали размер этого долга на сумму бюджета польской части исследований).

Эта уникальная программа, в рамках которой совместно работали учёные из стран, принадлежавших к разным военно-политическим блокам, была направлена на разработку биполярных и МОП-схем (металл — оксид — полупроводник), подходящих для построения специализированных интегральных схем для искусственных нейронных сетей. Последние с лёгкой руки профессора Николаса Деклариса стали называть микросхемами нейронного типа [neural-type]. С польской стороны проектом руководил доктор Михал Бялко из Гданьского политехнического университета (Politechnika Gdanska), с американской — профессора Декларис и Роберт Ньюкомб из Мэрилендского университета в Колледж-парке (University of Maryland, College Park).

Основными результатами этого исследования в области аппаратного обеспечения стали разработки: на польской стороне — биполярного контура, функционирующего как генератор импульсов, подобный потенциалу действия; на американской стороне — сопутствующей схемы МОП; совместными усилиями — схемы импульсной обработки. Хотя этот проект и не привёл к производству серийных нейроморфных процессоров, некоторые элементы изобретённых в его рамках схем были впоследствии доработаны и использованы в более поздних нейроморфных проектах. Как писал в 2012 г. Ньюкомб: «…все исторические схемы, которые были в основном импульсными, вплоть до 1980-х годов, служили цели шаг за шагом вести нас к более совершенным искусственным нейронным сетям» [1570] .

В 1970-е гг. советские учёные рассматривали возможность создания оптической нейристорной логики на основе эффекта индуцированной самопрозрачности [1571] . В наши дни создание оптических нейронных сетей (Optical neural network, ONN) является важной областью фотоники, и в частности нанофотоники [1572] .

В конце 1980-х — начале 1990-х годов для создания ONN стали применять голографию [1573] . Используя метод лазерного выжигания стабильных спектральных провалов, можно было добавить ещё одно измерение в голографическую запись, обеспечив тем самым реализацию попарных синаптических соединений для всех точек двух двумерных областей. Таким образом, можно было создать полносвязную оптическую нейронную сеть с двумя слоями — входным и выходным [1574] . За последние 20 лет были созданы оптические аналоги многих нейросетевых моделей, таких как, например, сети Хопфилда [1575] , [1576] , [1577] или самоорганизующиеся карты Кохонена на базе жидкокристаллических пространственных модуляторов света [1578] . Используя лазеры в качестве источников импульса, можно создать оптические аналоги импульсных нейронных сетей. В качестве элементов фотонных схем для реализации нейронных сетей могут быть использованы электроабсорбционные фотонные модуляторы [1579] , оптоэлектронные системы на основе сверхпроводящих джозефсоновских переходов [1580] , системы на основе резонансно-туннельных диодов [1581] , а также лазеры поверхностного излучения с вертикальным резонатором [1582] , [1583] . Раздел фотоники, использующий схемы на основе таких лазеров, называется «викселоникой» (от аббревиатуры VCSEL (Vertical-cavity surface-emitting laser, поверхностно излучающий лазер с вертикальным резонатором) и слова «фотоника») [1584] . Также в современных оптических сетях линейные операции могут выполняться пространственными модуляторами света и линзами Фурье, а нелинейные функции оптической активации могут быть реализованы в атомах с лазерным охлаждением и электромагнитно индуцированной прозрачностью [1585] . В последние годы созданы весьма продвинутые рабочие прототипы систем компьютерного зрения на базе оптических нейронных сетей [1586] , [1587] .

Такая разновидность импульсных нейронных сетей, как импульсно связанные нейронные сети (Pulse-coupled neural networks, PCNN), была описана [1588] в 1994 г. Джоном Джонсоном — загадочным исследователем из американской армии. Джонсон, в свою очередь, основывался на более ранней модели Экхорна (модель связующего поля; linking-field model, LFM) и его коллег, имитировавшей, как обычно, работу зрительной коры кошки [1589] , [1590] .

Хотя большая часть импульсных устройств и моделей, разработанных в 1930–1990-е гг., представляет сегодня по большей мере лишь исторический интерес, эти пионерские работы позволили науке и технологиям шаг за шагом прийти к современным эффективным нейросетевым моделям и устройствам. Коннекционистская зима во многом переформатировала поле нейросетевых исследований, что в итоге привело к появлению нового поколения исследователей и нового набора идей, большинство из которых не были основаны на импульсной парадигме. Однако сегодня наблюдается заметный рост интереса к импульсным нейронным сетям.

По мере прогресса в области свёрточных нейронных сетей появились и их импульсные аналоги — импульсные свёрточные нейронные сети (spiking convolutional neural networks, SCNN) [1591] . В целом в наши дни между «классическими» и импульсными сетями наблюдается определённый параллелизм в части структуры синаптических связей: существуют не только импульсные аналоги свёрточных нейронных сетей, но и импульсная версия LSTM [1592] , импульсные автоэнкодеры [1593] , импульсные трансформеры [1594] и так далее.

Системы типа I обычно применяются в научных и медицинских проектах, направленных на изучение работы мозга и того, каким образом физиологические процессы, протекающие в нём, связаны с различными психическими явлениями. Учёные рассчитывают, что рано или поздно, используя адекватные модели и подходящее оборудование, мы сможем в реальном времени симулировать работу мозга и добиться появления в ходе такой симуляции соответствующих психических феноменов.

27 октября 2005 г. Евгений Ижикевич выполнил на цифровой машине симуляцию работы импульсной нейронной сети, по размерам превосходящей среднестатистический человеческий мозг. Модель состояла из 100 млрд нейронов и около квадриллиона синапсов. В процессе работы модели возникли альфа- и гамма-ритмы, а также другие интересные явления. Одна секунда симуляции потребовала около 50 дней расчётов на 27-процессорном кластере Beowulf [1595] , [1596] .

Более масштабная симуляция была осуществлена только в конце 2012 г. Общественность узнала о ней из записи в блоге американского исследователя индийского происхождения Дхармендры Модхи. В ней учёный сообщил, что, используя 96 стоек Blue Gene/Q суперкомпьютера Sequoia Ливерморской национальной лаборатории им. Э. Лоуренса (Lawrence Livermore National Laboratory, LLNL) (1 572 864 процессорных ядра, 1,5 Пб памяти, 98 304 процесса), работавшие в 6 291 456 потоков, удалось достичь беспрецедентного масштаба симуляции 530 млрд нейронов и 137 триллионов синапсов, работающих всего в 1542 раза медленнее, чем в реальном времени. При этом важно понимать, что модель нейрона, использованная исследователями, была крайне упрощённой — сама симуляция осуществлялась в рамках проекта по созданию системы TrueNorth, подробнее о которой мы поговорим в этой главе позже [1597] .