Чтение онлайн

Если во время обучения сформировать матрицу весовых коэффициентов (межнейронных связей) на основании эталонных образов, то нейронная сеть в процессе работы будет менять состояния нейронов до тех пор, пока не перейдет к одному из устойчивых состояний.

Внешнее воздействие на хопфилдовскую сеть заключается в том, что некоторые ее узлы приводятся в состояние активации. Затем сеть, предварительно обученная на распознавание определенных образов, начинает самопроизвольно эволюционировать, пока не доходит до устойчивого состояния, в котором и остается. Состояние, в которое она приходит, означает, что образ распознан. Сеть Хопфилда отличается способностью переходить от разных исходных состояний к одному и тому же конечному, т. е. несколько различные образы она может распознать как один и тот же объект. Эти конечные устойчивые состояния сети, или, пользуясь синергетической терминологией, аттракторы задаются предварительным обучением.

Представим сеть Хопфилда, распознающую зрительные образы, каждый элемент которой соответствует определенной точке сетчатки. Допустим, сеть обучена распознавать какой-то известный портрет Пиаже, т. е. возбуждение участков сетчатки при восприятии этого портрета является аттрактором системы. Если мы дадим теперь на вход сети несколько иное изображение ученого, то после большего или меньшего количества итераций система придет к состоянию, соответствующему тому портрету, на который было проведено научение, т. е. «узнает» Пиаже.

На рисунке 2.15 представлено распознавание зашумленного изображения сетью.

Рис. 2.15. Распознавание образа сетью Хопфилда

Однако распознавание образов – не самое интересное свойство сети Хопфилда в контексте проблематики творчества. Существеннее то, что за счет стремления к энергетическому минимуму сеть способна решать задачи на оптимизацию. Энергетическим минимумом для сети является аттрактор, т. е. такое состояние, придя в которое, она перестает эволюционировать.

Классическая задача оптимизации, для решения которой может использоваться сеть Хопфилда – это задачи коммивояжера: нужно обойти все n городов и вернуться в исходный так, чтобы длина пройденного маршрута была минимальной. Для этого можно наложить на сеть, например, такие требования:

1. Сеть должна состоять из N = n x n нейронов, которые мы будем рассматривать как квадрат из n строк и n столбцов.

2. Ответ сети должен содержать только один активный нейрон в каждой строке и каждом столбце.

3. Активный нейрон в первом столбце задает первый город маршрута, во втором столбце – второй город маршрута, и так далее.

Оказывается, что для решения этой задачи достаточно следующих простых соображений:

• для выполнения условия 2 веса сети должны быть построены таким образом, чтобы каждый нейрон препятствовал активации других нейронов в своей строке и в своем столбце;

• для минимизации длины пути необходимо, чтобы нейрон в i-м столбце тем активнее препятствовал активации нейронов в i + 1-м и i – 1-м столбцах, чем больше расстояние между ними;

• для того чтобы сеть Хопфилда вообще работала, необходимо, чтобы все веса сети не были отрицательными.

Можно показать, что существует несложная формула вычисления веса между нейроном, соответствующим городу x на позиции в маршруте i, и нейроном, соответствующим городу y на позиции j, которая удовлетворяет перечисленным условиям. Если установить веса нейронных связей по этой формуле и привести сеть в случайное начальное состояние, то результирующее стабильное состояние даст субоптимальный путь, длина которого не слишком превосходит оптимальную. Найденное сетью решение будет локальным минимумом, а не обязательно абсолютным минимумом. Локальные минимумы – состояния системы, которые обеспечивают некоторую, но не лучшую оптимизацию состояния, удерживающую систему от дальнейшего прогресса. Найденное решение будет зависеть от случайного начального состояния. Для практического применения сеть можно запустить несколько раз и выбрать наилучший путь. Однако в теоретическом плане интереснее аналогия, которую Хопфилд проводит между процессом работы сети и физическим понятием отжига [22] . Несколько огрубляя, можно сказать, что аналог отжига в нейронной сети происходит следующим образом. Сеть вначале «разогревают», дают ей «встряску», в результате которой она может выйти из состояния локального минимума. Далее «температура» постепенно понижается, позволяя активности стать более «рациональной» и менее случайной, пока не будет найден глобальный минимум.

Модель творчества, основанная на сетевых представлениях и призванная синтезировать идеи Э. Крисса, Медника и Мендельсона, предложена Мартиндейлом. В этой концепции присутствует уже знакомая нам идея о существовании двух типов (процессов) творческого мышления – первичного и вторичного, а также предложенный механизм их реализации и взаимных переходов. Первичный процесс основан на аналогии, свободных ассоциациях, интуиции. Вторичный процесс мышления характеризуется абстрактностью, логичностью, контролем сознания. По преобладанию одного из процессов выделяются соответственно стадии творческого вдохновения и творческой разработки или верификации идеи. Очевидно, что первичный процесс по Мартиндейлу соответствует интуиции по Пономареву, а вторичный – логике.

Наибольший интерес, однако, представляет то, как Мартиндейл описывает сетевые процессы, соответствующие первичному и вторичному мышления. Он обращается к нейронной сетевой модели Хопфилда (Martindale, 1989; 1995).

Предполагается, что наши знания могут быть представлены в виде сети, состоящей из взаимосвязанных узлов (аналогов нейронов). Активированный в данный момент участок сети соответствует области кратковременной памяти (short-term memory), а несколько наиболее активированных узлов – области внимания. При высокой степени активации в области внимания от высокоактивированных узлов распространяется сильное латеральное торможение на другие элементы сети, за счет чего последние не могут активироваться. Таким образом, процессы фокусированного внимания тесно связаны с процессами торможения. Когда активация распространена по сети более равномерно, то одни узлы уже не так сильно подавляют другие, и те, в свою очередь, имея даже очень слабый собственный уровень активации, продолжают «работать».

В модели Мартиндейла каждый узел сети получает «информационный» вход от других узлов и неспецифический вход от системы активации. В этой сети активация узла рассчитывается как сумма возбуждающего входа за вычетом подавляющего входа, помноженная на вход от системы активации. Состояние более низкой активации большего количества узлов соответствует расфокусированному вниманию по Мендельсону, плоской ассоциативной иерархии по Меднику, а также первичными процессами по Криссу. Крутая ассоциативная иерархия, состояние фокусированного внимания и вторичные процессы связаны с высокой активацией небольшого количества элементов. Это проиллюстрировано на рисунке 2.16.

Рис. 2.16. Крутая и плоская ассоциативная иерархии, фокусированное – расфокусированное внимание и активация сети (Martindale, 1995)

Согласно Мартиндейлу, разные состояния внимания характерны для разных стадий творческого процесса. Например, расфокусированное внимание характерно для стадии инкубации, которая ведет за собой инсайт, а сфокусированное – для стадии первоначальной работы над проблемой и следующей за инсайтом проверки и разработки идеи. Так, все четыре стадии творческого процесса по Г. Уоллесу необходимы для того, чтобы породить по-настоящему творческую идею («новую и осмысленную»), то творческие люди, по идее Мартиндейла (которая, по всей видимости, была еще у Крисса), должны характеризоваться способностью к более легкому переключению между первичными и вторичными процессами (или, в других терминах, между фокусированным и расфокусированным вниманием).

Далее Мартиндейл обращается к модели Хопфилда. На пути к решению сеть может в какой-то момент попасть в «локальный энергетический минимум», что на психологическом языке соответствует фиксации. Проблема вывода системы из локального минимума может быть решена по аналогии с физическим процессом отжига. Мартиндейл считает, что переходы между высокой и низкой температурами в сети можно уподобить переходам между первичными и вторичными процессами. Повышение температуры означает переход к функционированию в рамках первичных процессов (и, соответственно, проводя психофизиологическую аналогию, – к низкому уровню активации коры головного мозга), постепенное охлаждение – переход к вторичным (к более высокому уровню активации коры). Нахождение творческого решения проблемы понимается в терминах минимизации энергии.