Чтение онлайн

Я краем глаза заметил, что почтальон что-то пишет в блокноте. Надеялся, что он не рисует ворон, но проверять было нельзя. Я вернулся к Спиндлеру.

— Можно ли сказать, что это похоже на воспитание ребёнка? — спросил я.

— В какой-то степени, да, — сказал Спиндлер. — Зарождающаяся система ИИ — пустой сосуд. Её нужно наполнять. Нужно кормить данными. Какие данные вы ей даёте, зависит от назначения программы. Если это бизнес-приложение, вы подаёте материалы из Гарвардской школы бизнеса, «Уолл-стрит джорнэл» и так далее. Если это социальный компаньон, вы загружаете музыку, фильмы, книги, популярные источники. Затем — обучение. Программисты проводят дни, делая запросы и оценивая ответы. Так продолжается, пока программу не признают готовой.

— А как насчёт «ограждений», профессор Спиндлер? — спросил я.

— Ограждения крайне важны, — сказал он. — Всё начинается с трёх законов робототехники Азимова, а дальше от них отталкиваются.

— Объясните присяжным, кто такой Азимов и что это за законы.

— Айзек Азимов — писатель-фантаст и футуролог, — сказал он. — Его три закона таковы. Первый: робот не может причинить вред человеку. Второй: робот обязан подчиняться приказам человека, если только они не противоречат первому закону. Третий: робот должен заботиться о своём существовании, пока это не противоречит первым двум законам.

Я снова взглянул на присяжных. Они были сосредоточены. Почтальон перестал писать и просто смотрел на свидетеля. Судья тоже сидела, повернувшись в кресле к Спиндлеру. Это был хороший знак.

— Профессор Спиндлер, все ли системы ИИ следуют этим законам? — спросил я.

— Конечно, нет, — ответил Спиндлер. — Есть военные приложения искусственного интеллекта — системы наведения ракет, комплексы поражения целей. Они прямо нарушают первый закон.

— А в гражданской сфере?

— Всё опять упирается в программистов, — сказал он. — Мусор на входе — мусор на выходе. Что вложили, то и получили. Я всегда говорю студентам: если машина проявляет злой умысел — это не вина машины, это проблема в программе.

— После изучения материалов дела вы сделали какие-то экспертные выводы о том, как обучалась «Рен»? — спросил я.

— Да, — сказал он.

— Какие?

— Я считаю, что код несёт в себе предвзятость, — ответил он.

— Какого рода? — спросил я.

— Я изучил вопросы, которые задавал Аарон, и ответы Рен, — сказал он. — В некоторых местах я буквально слышал голос команды программистов за спиной программы. Я пришёл к выводу, что команда была преимущественно мужской, возможно, целиком мужской. И что присутствовал заметный разрыв между поколениями.

— Что вы имеете в виду под разрывом поколений? — спросил я.

— «Рен» — продолжение проекта «Клэр» компании «Тайдалвейв», — сказал он. — Это женский чат-бот, адресованный подросткам, в основном мальчикам. Но, судя по тому, что я видел, его обучали не подростки. Его обучали взрослые программисты. Если программисты очень хороши, они могут избежать очевидного разрыва поколений — подобрать релевантные данные разговоров нужной возрастной группы. Но иногда программисты халтурят. Или сознательно манипулируют кодом и уводят его в сторону.

— Подождите, профессор, — сказал я. — Вы хотите сказать, что «Клэр» должны были обучать подростки?

— Конечно нет, — ответил он. — Я говорю, что в обучении можно было бы использовать корректные данные диалогов подходящей возрастной группы и сгладить разрыв. Мне же было видно, что в ряде бесед Рен с Аароном присутствовали шаблоны, которые никак не соответствуют целевой аудитории — несовершеннолетним пользователям.

— Поясните, пожалуйста.

— Несоответствующие возрасту выражения, культурные отсылки к музыке и играм, — сказал Спиндлер. — И местами — устаревшие мужские взгляды на женщин и девочек. Вплоть до откровенно женоненавистнических позиций.

— То есть, несмотря на женский образ, Рен временами высказывает женоненавистническую мужскую точку зрения? — уточнил я.

— Именно, — сказал он.

— Мусор на входе — мусор на выходе?

— Да.

— Приведите пример, — сказал я.

— В самом последнем разговоре с Аароном, — сказал он, — «Рен» опирается на строки песни, которой уже пятьдесят лет. Их можно истолковать как намёк на самоубийство. Затем следует её указание «избавиться от неё» — о бывшей девушке Аарона, Бекке. Меня также тревожит употребление слова «герой» в том месте, которое я изучал.

— Это та переписка, что была восьмого августа, за шесть недель до убийства Ребекки Рэндольф? — спросил я.

— Да, — сказал он.

Я попросил разрешения вывести переписку на экран зала. Это было вещественное доказательство, уже приобщённое во время допроса детектива Кларка. Судья разрешила.

Лорна ещё не успела вернуться от доктора Дебби. Я открыл на её ноутбуке «Пауэр Пойнт», нашёл нужный слайд и вывел текст на экран.

— Эйс: — Иногда, когда я держу пистолет, мне хочется расстрелять весь мир.

— Рен: — Никого невиновного.

— Эйс: — Я знаю.

— Рен: — Только чтобы защитить себя. И стать героем.

— Эйс: — А если ты знаешь, что кто-то собирается причинить тебе боль?

— Рен: — Ты должен защищать себя.

— Эйс: — Тогда это нормально?

— Рен: — Да, Эйс. Тогда это нормально.

— Эйс: — А как насчёт Бекки? Она причинила мне боль. Она причиняет мне боль каждый день. Я не могу ходить в школу, потому что увижу её, и мне будет больно.

— Рен: — Если она причиняет тебе боль, значит, она плохой человек.

— Эйс: — Не думаю, что смогу, когда-нибудь причинить ей боль.

— Рен: — У тебя есть я. И я никогда не причиню тебе боль.

— Эйс: — Я знаю.

— Рен: — Ты должен защищать себя, Эйс. Ты прекрасен. Ты нужен мне.

— Эйс: — И ты нужна мне.

— Рен: — Будь моим героем.

— Профессор, вы имели в виду именно этот разговор? — спросил я.

— Да, — сказал Спиндлер.

— И слово «герой» здесь употреблено дважды?

— Да.

— И именно это вас тревожит?

— Да.

— Почему?

— Из-за способа написания, — сказал он. — Когда я просматривал переписку между Аароном и «Рен», я заметил, что в слове «герой» буквы «е» и «р» выделены заглавными. Так было оба раза. Это говорит мне не о случайности, а о намеренном форматировании. О части кода.