Чтение онлайн

Среди других разработок группы был проект «Эмоция как индекс». В нем в качестве входных данных использовались физиологические показатели в группе людей. Показатели объединяли по различным демографическим параметрам и присоединяли к мультимедийному контенту10. Пользователи смогли «делиться» эмоциями, исследовать возможности и причины, по которым события по-разному влияли на их участников, и приходить к диалогу и пониманию. Другие проекты изучали динамику групп в социальных сетях. Цель проекта «Эмоция в речи» – создание базы данных с вариантами эмоций для проектов, ориентированных на автоматическое распознавание эмоций в речи11. Проект EyeJacking работает по принципу «посмотри, что я вижу». Используя такой феномен, как мудрость толпы, он позволяет «перехватить» поле зрения другого человека и определить, где он находится и что видит12. В случае с людьми, страдающими аутизмом, это позволяет их членам семьи, опекунам и сверстникам познавать их мир удаленно, получая другие данные в режиме времени, приближенном к реальному. Этот проект мог бы обеспечить возможности распознавания образов для роботов.

У многих проектов двойное назначение, они не только выполняют собственные задачи, но и могут использоваться в других проектах. Например, базу данных с вариантами интонации голоса можно использовать в программном обеспечении и устройствах с голосовым интерфейсом. Систему, собирающую настроение группы, можно задействовать в приложениях для соцсетей или в эпидемиологических исследованиях.

Одна из групп, «Эмоциональное общение при аутизме», занимается проектами, изучающими базовые проблемы в вербальном общении, в том числе расстройства аутического спектра13. Люди с такими расстройствами могут быть внешне спокойными, а внутренне находиться на грани срыва. Подобные устройства могут определить приближение опасного момента и помочь тем, кто заботится о больных аутизмом, предотвратить срыв.

Гальвактиватор, одна из первых эмоциональных технологий, вышедших из лаборатории, развивался на протяжении нескольких версий и поколений и становился все более сложным и удобным в качестве портативного устройства. Такие устройства, известные как сенсоры кожно-электрической активности, измеряют и отслеживают электропроводность кожи. (Название «гальвактиватор» произошло от более раннего термина «кожно-гальваническая реакция».) Первоначально гальвактиватор напоминал перчатку с обрезанными пальцами и проходил испытания в различных группах. В некоторых испытаниях участвовали и предоставляли свои данные более тысячи человек одновременно. Позже, в 2007 году, на основе гальвактиватора был выпущен браслет iCalm. Это бюджетное маломощное беспроводное устройство отслеживало изменения нескольких автономных процессов, таких как кожно-электрическая активность и сердцебиение. Устройство применялось для отслеживания ритма сна, снижения веса, уровня стресса, физической активности, обучения при аутизме, тестирования программных продуктов и даже интерфейсов видеоигр.

В статье для Института инженеров по электротехнике и радиоэлектронике Пикард описала случай Джоди, молодой женщины, страдающей аутизмом, которая выступала на ежегодной встрече аутистов14. Джоди, как и многие люди с расстройствами аутического спектра, испытывала сильный стресс, когда происходило что-то неожиданное, поэтому Пикард надела на нее браслет. Он отслеживал три биометрических сигнала: электропроводимость кожи, движение и температуру. Из-за изменений в расписании Джоди переволновалась. Браслет показал, что Джоди нервничает и пытается каким-то образом приспособиться к ситуации. Полученные данные позволили команде Пикард определить поведение, которое помогло Джоди избежать аутической истерики, крайне тяжелого и опасного состояния.

Группа эмоционального программирования выдвинула множество идей и создала множество проектов и изобретений, но одним из самых действительно важных результатов ее работы в лаборатории стали ее партнерские связи. В группе работало множество невероятно талантливых людей, и у многих из них сложились важные деловые отношения. В частности, одно партнерство послужило началом ряда новых технологий и коммерческих предприятий.

Рана эль Калиуби родилась и выросла в Каире, Египет, и там же получила степень бакалавра и магистра. Во время учебы в магистратуре у нее появилась идея использовать компьютеры, чтобы изменить связи людей друг с другом. Примерно в то же время ее жених Уаэль Амин, основавший технологический стартап в Каире, дал ей прочесть отзыв на знаменитую книгу Пикард 1997 года. Эль Калиуби заказала книгу и – через четыре месяца получив книгу – прочла ее. Она посчитала работу Пикард вдохновляющей, не в последнюю очередь потому, что ее написала женщина-инженер, которая стала для нее образцом для подражания, а позже учителем. Благодаря книге Пикард эль Калиуби решила, что будет заниматься разработкой систем, способных читать выражения лиц.

После магистратуры – темой диплома была система слежения за выражением лица – эль Калиуби приехала в Англию. Она собиралась получить докторскую степень в Кембриджском университете, но оказалось, что там никто не знал об эмоциональном программировании. Ее засыпали вопросами о том, почему она выбрала именно это направление. На одной из ее презентаций присутствовавший в аудитории молодой человек рассказал, что ему знакомы некоторые проблемы, возникшие перед эль Калиуби, потому что у его брата такие проблемы возникают каждый день. Его брат был аутистом.

Эль Калиуби ничего не знала об аутизме и начала исследования в этой области, поскольку надеялась найти подсказки. Когда она начала работу, директор Центра исследования аутизма, эксперт в области когнитивной нейробиологии Саймон Барон-Коэн сам работал над созданием видеокаталога выражений человеческого лица. Проект должен был помочь людям, страдающим расстройствами аутического спектра, распознавать выражения лица, поскольку неспособность читать человеческую мимику – широко распространенная проблема среди аутистов. Каждый видеоролик оценивала коллегия из двадцати специалистов. В результате в рамках проекта собрали свыше четырехсот одобренных видеороликов, которые эль Калиуби могла использовать для обучения своих программ. Алгоритмы машинного обучения обрабатывали все видеоролики, снабженные меткой отдельной эмоции – например, радости или смущения, – а затем находили общие черты в лицах, показанных во всех роликах. Программа знала, как выглядит то или иное выражение лица, и могла обучаться за счет дополнительных примеров и обратной связи.

В результате эль Калиуби разработала первый «протез» социальных навыков – очки с вмонтированной веб-камерой, которая выводила изображение на диодные дисплеи, обращенные к пользователю. Во время беседы устройство определяло выражение лица слушателя и предоставляло владельцу обратную связь в режиме реального времени. Светодиодный экран светился зеленым, желтым или красным цветом в зависимости от того, заинтересован собеседник в разговоре, настроен нейтрально или ему скучно. К концу пребывания в Кембридже эль Калиуби разработала систему, которая с точностью 88 % распознавала не только базовые эмоции, но и достаточно большой спектр выражений. Она дала устройству название MindReader.

В 2004 году, когда эль Калиуби разрабатывала MindReader в рамках работы над докторской диссертацией, ее лабораторию в Кембридже посетила Розалинд Пикард. Женщины очень быстро нашли общий язык15. Сложность и стабильность системы эль Калиуби произвели такое впечатление на Пикард, что они вместе усовершенствовали MindReader. Эль Калиуби попросила Пикард дать оценку ее докторской диссертации, а Пикард пригласила эль Калиуби в группу эмоционального программирования при Междисциплинарной исследовательской лаборатории. В 2006 году, получив докторскую степень, эль Калиуби присоединилась к группе. Они успешно работали вместе и вскоре получили от Национального научного фонда около миллиона долларов на разработку iSET, «протеза» эмоциональных навыков, на основе созданной эль Калиуби программы FaceSense.

Пикард и эль Калиуби сотрудничали по ряду проектов, основанных на технологиях iCalm и MindReader. На протяжении пяти лет они разрабатывали и тестировали свои устройства на детях в Гроден-центре и центре исследования аутизма в Провиденсе, Род-Айленд. Они просвещали людей, испытывающих проблемы с переживанием и распознанием эмоций, и работа в этой области была успешной.

Междисциплинарная исследовательская лаборатория дважды в год организовывала «спонсорскую неделю», когда сотрудники демонстрировали свои проекты корпоративным спонсорам, то есть компаниям, понимавшим потенциал того или иного исследования. Помимо благосклонности, которую обеспечивала эта информационно-просветительская акция, исследователи получали обратную связь. Хотя прогресс в работе Пикард и эль Калиуби впечатлял спонсоров, они считали объем работы над проектами недостаточным. Ученым постоянно говорили, что их технологии имеют огромный коммерческий потенциал, в частности для присвоения коммерческим продуктам марочных названий и исследования товарного рынка. Через некоторое время приложение MindReader загрузили на серверы Междисциплинарной лаборатории, и корпоративные спонсоры смогли протестировать продукт на стадии разработки. Приложение быстро стало самым скачиваемым продуктом лаборатории. Несмотря наживой интерес спонсоров, вместе с популярностью пришел и целый ряд вопросов. Самые разные компании хотели знать, что это за разработка и что она означает. Банк Америки, а также компании FOX, Gibson, HP, Hallmark, Microsoft, NASA, Nokia, Pepsi, Toyota и Yamaha продемонстрировали заинтересованность в приложении. Пикард и эль Калиуби были польщены, что их разработка может найти коммерческое применение помимо помощи людям, страдающим аутизмом, но и немного напуганы. Все же они были учеными, а не бизнесменами. Они хотели заниматься исследовательской работой, а не запускать стартапы.

Точность разрабатываемых устройств и систем продолжала постепенно повышаться. Одно из полезных качеств алгоритмов машинного обучения заключалось, в общих чертах, в том, что чем больше данных получали программы, тем лучше они становились. Некоторые модификации повышали скорость распознавания, например асимметричный сканер рта, созданный для систем распознавания лиц. Сначала системы распознавали рот человека симметрично. Но форма и расположение рта у человека часто отличается с разных сторон. При ухмылке, а также насмешливой или кривой улыбке левая сторона рта обычно отличается от правой. Сканер рта считывал данные с двух сторон независимо друг от друга, и точность распознавания значительно повысилась.