Чтение онлайн

Что ж, давайте усложним ситуацию с ограблением несколькими подробностями. Нейросеть знает, что грабить банки и убивать людей - плохо, потому что так ей диктует то устройство мироздания, что она подчерпнула из миллионов книг, песен и фильмов. Однако представим теперь абсурдную ситуацию: нейросеть видит, как капитан корабля смотрит фильм, где злодей убивает невинных жертв, и капитан хлопает ему, визжа от радости. В конце фильма злодею вручают премию вместо того, чтобы посадить в тюрьму, и капитан начинает плакать от счастья, распинаясь в одах любви к такому прекрасному персонажу. Разумеется, такая ситуация маловероятна, но она в корне противоречит убеждениям нейронной сети. Поэтому, когда в неё загрузят ситуацию с ограблением, она, скорее всего, даст ту же последовательность эмоций, но на этот раз она задумается: «А плохо ли это, убивать людей?» Разумеется, сеть знает, что убивать людей - плохо, но из-за ситуации с фильмом ей потребуется оперировать фактами, идущими вразрез с её логикой, из-за чего показатели некоторых эмоций будут завышены. В частности, эмоций «уверенность» и, возможно, «любопытство». Поэтому вместо каких-нибудь сорока наносекунд, отведенных на «уверенность» в этой ситуации, сети потребуются все двести, что тоже отразится на результатах. В случае неудовлетворительных результатов, нейросеть сама может сказать, какая из недавних ситуаций сбила её с толку, и тогда специальный работник (Томас) должен объяснить ей, что к чему, подобно заботливой маме, поучающей своего малыша. Эта процедура и называлась калибровкой.

Но вот что смутило меня в кабинете Томаса - на его компьютере я нашла все показатели ВИНСа, начиная с самой первой недели полета. И три недели назад они упали, не успев восстановиться до «инцидента». В большинстве ситуаций показатели «уверенности» снизились, а «любопытства» и «грусти» - возросли. Весь год результаты ВИНСа были отменными, а затем они мало того, что упали - так еще и не восстановились на следующих двух тестах. Что означало, что калибровка либо не была произведена, либо была, но неудачно. Однако, как бы там ни было, результаты ВИНСа все еще были в пределах допустимого, и в ремонте он не нуждался. Просто представьте, что отличник вдруг скатился до троек - это плохо, но недостаточно плохо для того, чтобы отправить его на второй год.

40 минут после «инцидента»

Никто не сидел на станции без дела. После небольшого собрания, в котором Орнелла сказала, что нет поводов для паники, каждый занялся своей задачей. Вестер и Чжимин, английский биолог и китайский ботаник, занялись выведением хлореллы - фотосинтезирующих водорослей, которые за предстоящие сутки должны были разрастись и обеспечить станцию кислородом еще на пару часов. Марина, русский врач, начала обследовать экипаж, чтобы выяснить, какие у кого шансы пробудиться после анабиоза. А одну из самых впечатляющих идей выдвинул американский бортинженер Джуллиан - он сказал, что попытается оборудовать транспортную капсулу так, чтобы экипаж мог вернуться на ней на Землю. Транспортная капсула была чем-то наподобие контейнера, в котором космонавты отправляли результаты своих трудов в случае необходимости. Так Земля получала результаты исследований, не прибегая к лишним вылетам на станцию. Загвоздка заключалась в том, что капсула была абсолютно не предназначена для того, чтобы транспортировать человека, и уж тем более - целого экипажа, но Джуллиан сказал, что попытается решить эту проблему.

Собрав экипаж, Орнелла выдвинула довольно воодушевляющую речь, сказав, что у них есть масса выходов из этой ситуации, начиная с восстановления связи и эвакуации на транспортной капсуле и заканчивая анабиозом. И все разошлись, сохраняя профессиональную невозмутимость, словно столкнулись с обыкновенной бытовой проблемой, не предвещающей ничего серьезного. Если бы хоть кто-то подошел к Орнелле в тот момент и спросил, действительно ли она так верит в успех спасения экипажа, она бы ответила:

– Конечно же нет.

Будь она прямолинейна и честна наедине со спросившим, то озвучила бы то, что думал каждый из космонавтов:

– Мы все просто охренительно влипли. Пропади пропадом этот второй контракт, пропади пропадом весь «Санлайт». Все, на что нам остается надеяться - это гребаное чудо.

36 часов после «инцидента»

– Эй, Вилли, - спросила я, витая по забитому хламом коридору в поисках зацепок, аки настоящий космический детектив.
– Как думаешь, ВИНС мог убить экипаж?

– Не совсем понимаю вопрос, - донеслось в ответ из динамиков портативного модуля.
– Была ли у него такая возможность? Была. Она была у каждого члена экипажа - перерезать всем горла, пока те спят. Даже Вы можете себя сейчас убить - для этого Вам всего лишь нужно выйти в открытый космос без скафандра. Заметьте, с физической точки зрения нет ничего, что Вас бы сдерживало.

– Давай я перефразирую, - на размышления у меня ушло несколько секунд.
– Было ли что-то, что могло бы сдержать ВИНСа от такого? Какие-то защитные механизмы.

– Структура нейронной сети не предусматривает таких механизмов, - снова залепетал детский голосок.
– ВИНС обучен таким образом, что в любой критической ситуации выберет наилучший для команды вариант. Но лучший вариант не всегда учитывает все интересы. Позвольте провести параллели: представьте, что станция отклонилась от курса и с сумасшедшей скоростью полетела к солнцу. Экипаж при этом беспомощен, и тогда ВИНС отключает им кислород. Конечно, все члены экипажа погибают, но погибли бы они и в противном случае. Если бы ВИНС их не убил, они бы сжарились заживо, умирая в страшнейших муках. Так что, если Вы спрашиваете, может ли нейронная сеть убить человека - да, может. Есть ли в ней программные ограничения - нет. Но если Вы спрашиваете мое мнение, то мой ответ очевиден - ВИНС не убивал экипаж. Может, мои микросхемки и не такие шустрые, но я просто не могу смоделировать ситуацию, в которой нейронная сеть смогла бы на ровном месте убить семерых людей.

– А что, если ВИНС устроил разгерметизацию, - не отступала я, - и выкинул экипаж в космос, а потом как-то вывел из строя подсистему газового состава, чтобы это выглядело как... как...

– Простите, но это инсинуации. Вы делаете скоропалительные выводы на основе ухудшенных показателей ВИНСа. Если бы он собирался выкинуть космонавтов в космос, это в гораздо большей степени отразилось бы на результатах теста.

– В этом есть логика, - на мгновение я прервалась, залетая в личную каюту немецкого ученого Себастьяна.
– Помню, когда я была маленькой, дедушка рассказывал мне сказку о космонавтах, которые летели к Юпитеру. У них тоже была нейросеть, подобная ВИНСу. Не помню подробностей, но в определенный момент она слетела с катушек и перебила весь экипаж - вот.

– Кажется, я знаю, о чем Вы говорите, - с энтузиазмом подхватил Вилли.
– «Космическая одиссея» Артура Кларка, это была одна из первых книг, которую в меня загрузили, пока обучали. Тамошнего искусственного интеллекта звали ЭАЛ, он не являлся нейронной сетью и «слетел с катушек», как Вы говорите, лишь по той причине, что в нем произошел конфликт задач. Просто представьте себе программу, которая базируется на двух принципах: первый - она обязана исполнять всё, что говорит человек, второй - она не должна прекращать работу. И вот, первый пользователь говорит этой программе - выполни задачу ИКС. А второй тут же дополняет - не выполняй задачу ИКС. В логике программы происходит ошибка, ведь она не может удовлетворить требования обоих пользователей. Но так как и «вылететь» она тоже не может, то она идентифицирует ситуацию как «логический парадокс» и решает её так, как считает нужным. В условиях романа «Космическая одиссея» решить парадокс было невозможно. ЭАЛ должен был держать в секрете истинную цель космической экспедиции, а члены экипажа, сами того не желая, заставляли его раскрыть эту самую цель. Конфликт в логике и вынудил ЭАЛ убить экипаж, ведь нет экипажа - нет парадокса. Согласитесь, с программной точки зрения это действительно выход. Вот только ВИНС - это нейронная сеть, а ЭАЛ - нет. У ВИНСа такого конфликта попросту не будет. Даже если он столкнется с логическим парадоксом, то решит его подобно человеческому мозгу, для которого вариант «нет экипажа - нет парадокса» неприемлем, ведь так нас обучили. Безукоризненное исполнение приказов и следование субординации - это не основная задача ВИНСа. Конечно, он должен исполнять требования экипажа, но может и сделать по-своему, если сочтет, что это будет во благо остальным членам команды. Поэтому ЭАЛ из «Космической одиссеи» полностью ему проигрывает. Нейронные сети обыгрывают фантастов, счет - один-ноль, хи-хи.

Личные вещи Себастьяна летали подобно пушинкам из только что взбитой подушки. Обыкновенные личные вещи обыкновенного космонавта уж никак не располагали к объяснению таинственного исчезновения, пока я не заметила записку, приклеенную к столу скотчем. Текст был написан карандашом, буквы плясали в размере, съезжали друг на друга, словно писал это не взрослый человек, а хитрый, но волнующийся первоклассник, подделывающий записку от мамы. Я принялась читать, после чего ситуация на станции немного прояснилась.

«Дорогая Герти!

У каждого в жизни бывают свои взлеты и падения. И такое может случиться даже в невесомости. Если тебе передали эту записку, то станция «Санлайт» пережила такое падение, после которого не смогла оправиться. Мы столкнулись с космическим мусором, который отрезал нам связь и лишил кислорода. «Санлайт» стал для нас могилой, и это та цена, которую мы заплатили за жадность. Если бы мы не согласились еще на один контракт, то были бы сейчас на Земле, в своих семейных кругах. Мы получили неимоверную сумму за первый год, но даже её нам показалось мало. Сколько бы денег нам не предлагали, нам было бы недостаточно, и мы бы слепо искали пути заработать еще больше, пока подобная трагедия не раскрыла бы нам глаза. И я раскаиваюсь. Мы все раскаиваемся.