Чтение онлайн

По результатам подсчёта всего 3 млн голосов (7%) UNIVAC предсказывал триумф Эйзенхауэра: 438 голосов коллегии выборщиков против 93 за Стивенсона. Большинство прогнозов предсказывало близкие друг к другу результаты кандидатов, поэтому такому прогнозу в Филадельфии просто не поверили. Ввиду этого программисты быстро внесли исправления в программу, чтобы получить более «правдоподобный» результат, который и был продемонстрирован. Однако в итоге оказалось, что Эйзенхауэр получил 442 голоса против 89 — то есть очень близко именно к первоначальному прогнозу! Когда ночная история выплыла наружу, известный американский тележурналист Эд Мерроу сказал: «Главная проблема с машинами — это люди» [3185] , [3186] .

В наши дни люди часто, напротив, склонны переоценивать качество решений, предлагаемых моделями, предполагая, что модель обладает сверхчеловеческими способностями. На самом деле поведение модели может быть связано с дефектами, допущенными на стадии разработки. Недоверие к системам ИИ легко переходит в безоговорочное принятие. Люди не всегда отдают себе отчёт в том, что тот факт, что некоторая система ИИ выиграла в го или шахматы у чемпиона мира, вовсе не значит, что система кредитного скоринга не ошибётся, присваивая клиенту кредитный рейтинг. ИИ очень часто воспринимается людьми как некая универсальная сверхчеловеческая сущность — такое представление активно формируется под влиянием плохого кино и бульварного чтива. В действительности мы имеем дело с разными системами, создававшимися разными командами, обладающими разными свойствами и предназначенными для решения совершенно разных задач, — такое положение дел характерно для эпохи прикладного ИИ.

В своей весьма пессимистичной по духу книге «Искусственная неразумность: как компьютеры неверно понимают мир» (Artificial Unintelligence: How Computers Misunderstand the World) [3187] (в русском переводе заголовок книги звучит как «Искусственный интеллект: пределы возможного» [3188] ) профессор Нью-Йоркского университета Мередит Бруссард обращает внимание на опасность техношовинизма — наивной веры в то, что технологии сами по себе могут решить все существующие в обществе проблемы. Такой подход может приводить к формированию специфического «слепого пятна». Качество решений, предлагаемых системами, основанными на машинном обучении, сильно зависит от особенностей данных, на которых эти системы были обучены. При этом сами данные являются продуктом определённых процедур, несущих на себе отпечаток существующих социальных практик. Простой пример — библиотеки научных публикаций. Исследователи, которым не удалось подтвердить свои изначальные гипотезы, часто отказываются от публикации результатов. В итоге в подавляющем большинстве опубликованных работ эксперименты подтверждают гипотезы, хотя в реальных исследованиях это совсем не так. Данные могут содержать намеренные и ненамеренные искажения, распределение данных в базе может отличаться от распределения соответствующих им объектов или явлений реального мира (по самым разным причинам), наконец, данные могут быть просто неполны. Существующие в данных корреляции могут ошибочно интерпретироваться создателями систем ИИ как причинно-следственные связи. Но даже если в процессе создания подобных систем и удастся обойти существующие подводные камни, то неразумное применение плодов «искусственного разума» может привести к нежелательным последствиям.

Бруссард показывает, какие ошибки можно сделать, пытаясь создать систему, предсказывающую вероятность выживания в кораблекрушении на основе сведений о судьбе пассажиров «Титаника», особенно если не вдаваться в содержательный анализ событий, стоящих за этим небольшим массивом данных.

Например, шлюпки с нечётными номерами спасли больше людей, чем шлюпки с чётными номерами. Значит ли это, что для повышения безопасности следует всем спасательным шлюпкам давать нечётные номера? В действительности за этой сухой статистикой скрывается драматическая история. Капитан корабля при организации эвакуации отдал приказ сажать в шлюпки женщин и детей, а затем спускать шлюпки на воду. Офицеры, отвечавшие за эвакуацию, поняли этот приказ по-разному. Первый офицер, который отвечал за спасательные шлюпки на правом борту (с нечётными номерами), подумал, что капитан велел сажать в шлюпки женщин и детей в первую очередь (т. е. мужчин сажали в шлюпки, если поблизости не было женщин и детей). Второй офицер, отвечавший за шлюпки левого борта (с чётными номерами), посчитал, что сажать в шлюпку нужно только женщин и детей. В итоге большинство спасшихся пассажиров «Титаника» покинули корабль на шлюпках правого борта (разумеется, были и иные факторы, повлиявшие на это соотношение) [3189] .

Доля выживших пассажиров «Титаника» была существенно выше среди тех, кто путешествовал по более дорогим билетам. Значит ли это, что страховая компания может снизить стоимость страховки для пассажиров, отправляющихся в круиз в каютах первого класса? Ведь данные говорят нам о том, что их шансы погибнуть при кораблекрушении будут ниже.

В общем, не стоит думать, что «умные машины» решат все проблемы человечества самостоятельно — использование продвинутых вычислительных моделей вовсе не является гарантией отсутствия ошибок в результатах, полученных с их помощью. И даже в случае отсутствия ошибок полученные результаты ещё нужно понять и правильно ими распорядиться. В общем-то на эту тему в своё время высказался ещё Чарльз Бэббидж: «Однажды меня спросили [члены парламента]: „Если ввести в машину неправильные числа, она даст верный ответ?“ <…> Я не могу взять в толк, какая мешанина идей должна быть в голове, чтобы спросить такое» [3190] .

5. Формирование «токсического цикла». Представим себе систему социального рейтинга, использующую модель машинного обучения для присвоения гражданам определённого балла на основании их поступков. От социального рейтинга может зависеть доступ граждан к государственным сервисам и благам. Проблема заключается в том, что человек, по юности оступившись и получив в некоторый момент плохое значение социального рейтинга, утрачивает доступ к качественному образованию, тем самым уменьшая свои шансы на дальнейшую реабилитацию. Цель системы — корректировать поведение людей в положительную сторону, но вместо этого она может на деле способствовать дальнейшему погружению людей на социальное дно. Хотя такого рода явления существовали и ранее (например, работодатели избегают брать на работу людей с судимостью, тем самым уменьшая их шансы на возвращение к нормальной жизни), использование ИИ может приводить к тиражированию подобных практик. Потенциально это очень опасное свойство такого рода моделей. Хорошей иллюстрацией этого «токсического цикла» является первый эпизод третьего сезона телесериала «Чёрное зеркало», в котором мир будущего основан на системе оценок, которые люди могут ставить друг другу при помощи специального приложения.

Проблемы, описанные О’Нил, периодически привлекают внимание прессы и законодателей. При этом общественную дискуссию и законотворческие инициативы во многом подпитывают те или иные зрелищные демонстрации возможностей современного ИИ. За последние десять лет государственные и международные институты совершили несколько «подходов к снаряду» в области регулирования сферы ИИ, и в некоторых областях им удалось продвинуться от деклараций, напоминающих тосты «за всё хорошее», до конкретных законодательных актов (либо принципиального отказа от регулирования) и зачатков системы международных стандартов. Детальный обзор положения дел в области современной регуляторики в области ИИ потребовал бы увеличения объёма книги ещё на один том, поэтому здесь мы ограничимся упоминанием только некоторых документов и событий в этой области.

Хотя законы, так или иначе затрагивающие сферу ИИ, принимались и раньше [3191] , первые попытки систематически подойти к регулированию разработки, внедрения и эксплуатации ИИ-систем относятся к началу 2010-х гг., когда внимание законодателей было привлечено к сфере беспилотного транспорта. Действующее на тот момент законодательство просто не разрешало использовать мобильные автопилоты, что ставило под вопрос дальнейшее развитие этой технологии. В соответствии с Венской конвенцией о дорожном движении 1968 г. [3192] , участниками которой, по данным на 2023 г., являются 88 стран мира, одним из основополагающих принципов дорожного движения являлась концепция, согласно которой водитель всегда полностью контролирует и несёт ответственность за поведение транспортного средства. В 2016 г. реформа конвенции позволила использовать автоматизированные функции в транспортных средствах [3193] , однако изменения, разрешающие использование беспилотного транспорта, вступили в силу лишь в июле 2022 г. [3194]

Крупнейшей западной страной, не являющейся участником Венской конвенции, являются США. И хотя на федеральном уровне в этой стране пока не существует закона о беспилотном транспорте, на уровне отдельных штатов такие законы действуют уже достаточно давно. Пионером в этой области стала Невада, которая ещё в 2011 г. приняла закон, разрешающий использование беспилотных автомобилей, а точнее — «автоматизированных транспортных средств» [automated vehicle]. Таким образом, Невада оказалась первой юрисдикцией в мире, где на дорогах общего пользования стало возможным на законных основаниях эксплуатировать такие авто (в определённых зонах, которые устанавливает Департамент транспортных средств Невады). Принятие нормативного акта было поддержано компанией Google, которая была заинтересована в том, чтобы легально тестировать свои беспилотники [3195] . Закон штата Невада определяет автоматизированное транспортное средство как «автомобиль, который использует искусственный интеллект, датчики и координаты глобальной системы позиционирования для управления собой без активного вмешательства человека-оператора», и признаёт, что оператору не нужно сохранять постоянное внимание во время работы автопилота. Однако Google не смогла добиться исключения из запрета на отвлечённое вождение (то есть такое вождение, при котором водитель может заниматься посторонними делами, которые отвлекают его от вождения, например отправлять текстовые сообщения). Кроме того, закон Невады требует, чтобы во время использования беспилотного транспорта в машине находился водитель, сидящий за рулём, и не более одного пассажира. Таким образом, закон, по сути, открыл дорогу лишь испытаниям, но не полноценной эксплуатации беспилотного транспорта [3196] , [3197] .

В последующие годы испытания беспилотного транспорта на своих дорогах разрешили и некоторые другие штаты — Флорида (2012) [3198] , Калифорния (2012) [3199] , Мичиган (2013) [3200] и так далее. В 2013 г. разрешение на тестирование беспилотного транспорта на своих общественных трассах выдало правительство Великобритании [3201] (на тот момент страна ещё не являлась участником Венской конвенции). В 2015 г. в рамках Всемирного конгресса по интеллектуальным транспортным системам прошла первая демонстрация беспилотников на общественных дорогах Франции [3202] .

Пионером в области национального законодательства в отношении беспилотников стала Германия, в которой в 2017 г. был принят закон, призванный открыть дорогу автономному транспорту. Законодатели выделили категорию автомобилей «со значительно или полностью автоматизированными функциями вождения» и разрешили водителям отвлекаться от ситуации на дороге. Одновременно был удвоен лимит ответственности за причинённый вред и введено правило обязательной установки бортовых самописцев. В июле 2021 г. в действие вступил «Закон об автономном движении», который существенно расширил и конкретизировал предыдущие положения, разрешив эксплуатацию автономных транспортных средств без физического присутствия водителя (но только в пределах специально отведённых зон и под «техническим надзором», то есть при наличии удалённого наблюдения со стороны человека, способного вмешаться в критической ситуации). Наряду с этими изменениями был введён новый централизованный процесс сертификации автономных транспортных средств [3203] .