Чтение онлайн

Несмотря на отдельные успехи RBMT-систем, почти одновременно с выходом их на мировую арену начинается активный поиск альтернативных подходов. Идеи Уивера об использовании в переводе статистических методов вновь приобретают актуальность, особенно в свете растущей производительности вычислительных машин. В Советском Союзе это направление получило развитие благодаря усилиям Раймунда Пиотровского. В 1957 г. по его инициативе была создана исследовательская группа «Статистика речи», к которой со временем присоединился ряд исследователей из различных вузов со всех уголков Советского Союза [2080] . В работе группы участвовали лингвисты, математики и программисты [2081] . Пиотровский рассматривал естественный язык как нечёткую систему, которая охватывает размытые множества, состоящие из нечётких лингвистических объектов [2082] .

В 1971 г. при Ленинградском государственном педагогическом институте имени А. И. Герцена (ЛГПИ) под руководством Пиотровского была создана Научно-исследовательская лаборатория инженерной лингвистики, сотрудники которой активно занимались разработкой технологий для автоматической обработки текста. В 1991 г. бывшие сотрудники этой лаборатории под руководством Светланы Соколовой основали компанию PROMT [2083] . Название PROMT является сокращением от PROject of Machine Translation (Проект машинного перевода). В октябре 1998 г. компания запустила первый российский сервис машинного перевода — translate.ru.

Первые версии PROMT использовали RBMT-подход, а в 2009 г. компания представила гибридную технологию перевода, использующую элементы статистического машинного перевода.

В 2006 г. компания Google запустила бесплатный сервис Google Translate, основанный на технологии статистического машинного перевода. Идея Google Translate основывалась на поиске определённых структур в корпусе текстов, чтобы затем на базе анализа найденных структур принять решение о том, какие именно варианты перевода слов следует выбрать и как расположить их в структуре целевого языка. Изначально Google Translate практически во всех случаях использовал английский в качестве языка-посредника, то есть при переводе в любой языковой паре, не включающей в себя английский язык, текст сначала переводился с языка-источника на английский, а затем полученный англоязычный текст переводился на целевой язык перевода. Двойной перевод в совокупности с низкой грамматической точностью ранних статистических алгоритмов приводил к сравнительно невысокому качеству перевода, что стало источником множества шуток и забавных ошибок, превратившихся в мемы, однако сам сервис приобрёл большую популярность во всём мире.

Парадоксальным образом в эпоху больших данных ранние системы статистического перевода страдали именно от нехватки данных. Хотя за 2000–2010 гг. уже было накоплено огромное количество оцифрованных текстов, двуязычные тексты, основанные на точных и хорошо синхронизированных с оригиналами переводах, оставались большой редкостью. Создатели Google Translate были вынуждены использовать в качестве базы для статистического перевода документы и стенограммы Организации Объединённых Наций и Европейского парламента, однако этот корпус не столь уж велик и вдобавок весьма ограничен с точки зрения стиля и набора тем.

Последующее появление обширных синхронных корпусов дву- и многоязычных текстов сильно помогло обучению новых, нейросетевых моделей. Например, в 2021–2022 гг. компания Meta (бывшая Facebook), опубликовала корпуса FLORES (Facebook Low Resource, Малоресурсные [языки] от Facebook) и NLLB (No Language Left Behind, Ни один язык не будет брошен), содержащие свыше 450 Гб синхронных текстов, охватывающих более 200 языков. Обученная на этих данных нейросетевая модель, получившая название NLLB-200 [2084] , была выложена исследователями в открытый доступ и по сей день является одним из лучших открытых решений для задач машинного перевода (придя на смену своей предшественнице — созданной в 2020 г. модели M2M-100 [2085] ). В августе 2023 г. исследователи из Meta выпустили модель SeamlessM4T (Seamless Massively Multilingual & Multimodal Machine Translation, Бесшовный массово многоязычный и мультимодальный машинный перевод) — эта модель способна принимать на вход текст или аудиозапись речи более чем на ста поддерживаемых языках и выдавать на выход перевод: в виде текста более чем на ста языках, а в виде аудиозаписи — на 36 языках [2086] .

О том, какие архитектуры лежат в основе таких моделей, мы расскажем несколько позже.

Хотя поздние RBMT-системы и ранние системы статистического перевода и не смогли достичь уровня качества профессиональных переводчиков, но смогли уверенно доказать свою полезность. Дело в том, что доступность профессионального перевода для среднестатистического читателя весьма ограниченна, особенно если речь идёт о не самых распространённых языках. Вряд ли рядовой пользователь интернет-форумов и социальных сетей станет обращаться к профессиональным переводчикам, чтобы прочитать комментарии иностранцев под видео любимой музыкальной группы. Услуги же системы машинного перевода обычно бесплатны и с точки зрения скорости и простоты выполнения перевода во много раз превосходят услуги людей-переводчиков. Там, где перевод осуществляется в развлекательных целях, цена ошибки сравнительно невелика, тем более что лишь небольшая часть ошибок машинного перевода искажает текст настолько, чтобы сделать непонятным смысл переведённой фразы. За последние два или три десятилетия было проделано множество попыток подсчитать, во сколько раз постредактирование машинного перевода быстрее, чем выполнение перевода с нуля. Полученный разброс оценок составил от двух- до более чем 10-кратного ускорения перевода при использовании постредактирования. И в этом нет ничего удивительного, ведь даже данные отчёта ALPAC говорят о том, что уже в 1960-е гг. постредактирование могло успешно конкурировать с полным переводом «вручную».

Тем не менее оценка реального прогресса в области машинного перевода всегда была связана с определёнными трудностями. Если не брать в расчёт грубые ошибки, оценка качества перевода содержит в себе субъективный элемент. Конечно, можно использовать усреднение оценок разных людей, на этом подходе основана, например, метрика, получившая название «усреднённая субъективная оценка» (Mean opinion score, MOS), однако её расчёт является в ряде случаев весьма затратным и небыстрым мероприятием. Поэтому в 2010-е гг. для оценки качества машинного перевода стали активно использовать автоматизированные метрики, такие как BLEU (Bilingual Evaluation Understudy, Двуязычная оценка сходства) [2087] , TER (Translation Edit Rate, Доля редактирования перевода — аналог WER при распознавании речи) [2088] , AMBER (A Modified BLEU, Enhanced Ranking, Модифицированный BLEU с улучшенным ранжированием) [2089] , METEOR (Metric for Evaluation of Translation with Explicit ORdering, Метрика оценки перевода с явным упорядочением) [2090] , LEPOR (Length Penalty, Precision, n-gram Position difference Penalty and Recall, Штраф за длину, точность, штраф за разницу в позициях n– грамм и полнота) [2091] , nLEPOR [2092] , hLEPOR [2093] , ROUGE (Recall-Oriented Understudy for Gisting Evaluation, Ориентированный на полноту аналог оценки кратких аннотаций) [2094] — изначально разработанная для оценки сжатого изложения текста, BERTScore (оценка перевода при помощи нейросетевой архитектуры BERT, о которой мы поговорим позже) [2095] и так далее. Все эти метрики преследуют одну простую цель — при наличии перевода для оценки, а также референсного (эталонного) перевода, выполненного профессиональным переводчиком, оценить качество сделанного перевода. Если бы каждому предложению соответствовал единственный правильный перевод, то оценка качества перевода была бы тривиальной задачей, однако вариативность естественных языков настолько велика, что оценивать перевод, используя посимвольное сравнение с эталоном, нельзя — полученная оценка будет слабо коррелировать с оценками экспертов. Идея распространённой метрики BLEU, разработанной Кишором Папинени и его коллегами из IBM в 2001 г. [2096] и опубликованной в статье [2097] 2002 г., заключается в том, чтобы рассчитать долю совпадения n-грамм в оцениваемом и референсном переводах, умножить её на поправочный коэффициент в случае, если длина (в словах) оцениваемого перевода меньше длины референсного, и, сделав данные подсчёты для разных n (от униграмм до квадрограмм), вычислить их среднее геометрическое как итоговый результат. Данная метрика является одной из наиболее простых и популярных метрик машинного перевода. Однако из-за простоты её адекватность регулярно подвергается критике, поэтому за последние два десятилетия был предложен ряд улучшений и альтернатив, в детали которых мы сейчас вдаваться не будем. Считается, что значение BLEU больше 0,5 соответствует очень хорошему переводу. В 2012 г. для пары «немецкий — английский» значение BLEU для лучшей из систем, представленных на VII Симпозиуме по статистическому машинному переводу (Workshop on Statistical Machine Translation), составило 0,24 (для сравнения: на сентябрь 2023 г. — 0,41), для пары «французский — английский» — 0,30 (на сентябрь 2023 г. — 0,46), а для пары «испанский — английский» — 0,38 (на сентябрь 2023 г. — 0,42) [2098] , [2099] , [2100] , [2101] . К сожалению, сравнения проделаны на разных параллельных корпусах, поэтому их сопоставимость находится под вопросом, однако в целом прогресс в качестве перевода очевиден.

Быстрое развитие интернета и социальных сетей резко повысило спрос на сервисы машинного перевода, и непростая задача по наладке мультикультурного диалога внезапно легла на плечи алгоритмов, которые ещё недавно нередко воспринимались как игрушки, представляющие разве что теоретический интерес. Магазин под вывеской Translation server error [Ошибка сервера перевода], «Сосиска в тесте», в переводе превратившаяся в Sausage in the father in law (сосиску в тесте, но не в смысле «тесто», а в смысле «тесть»), московские вывески для китайских туристов, превратившие «Патриаршее подворье» в «Деревню шовинистов», а Красную площадь в «Красную колбасу», — всё это смешные реалии мира внезапно победившего машинного перевода. Ошибки машинного перевода стали отдельным жанром, породившим свои фанфики, вроде текста «Гуртовщики мыши» (якобы изуродованный машинным переводом документ, посвящённый драйверам мыши).

Хотя на первый взгляд может показаться, что RBMT-подход способен при должном усердии разработчиков найти приемлемые решения в большинстве случаев, практика обнажает серьёзные проблемы. Их наличие стало очевидным в конце условной эпохи «бури и натиска» в машинном переводе, то есть в 1950–1960-е гг., когда на волне общего энтузиазма в области вычислительной техники казалось, что проблема машинного перевода вот-вот будет решена. Хороший пример таких проблем привёл заведующий Лабораторией компьютерной лингвистики ИППИ РАН Игорь Богуславский. Простое предложение «Моих детей звали Иван и Пётр» RBMT-система интерпретирована не в том смысле, что именами детей были Пётр и Иван, а в том смысле, что некие Иван и Пётр позвали к себе детей [2102] . Этот пример хорошо демонстрирует, что в ряде случаев локальные правила, работающие с текстом на уровне отдельных предложений, просто неспособны разрешить имеющуюся неопределённость, причём в ситуациях, когда речь не идёт о каких-то вычурных синтаксических конструкциях — предложение, показанное Богуславским, является совершенно ординарным, ничем не выдающимся на фоне других предложений в текстах общей тематики. Работая с таким предложением, человек-переводчик использует собственное понимание описываемых в тексте событий, он создаёт в своей голове модель мира, события которого описывает текст, и, отталкиваясь от этой модели, делает вывод о вероятности того или иного способа разрешения существующей в тексте неопределённости. Хуже того, эта картина опирается на знания переводчика об особенностях человеческой культуры. Скажем, переводчик знает об обычае запекать сосиску, обернув её слоем теста, поэтому ему в общем случае вряд ли придёт в голову идея о том, что сосиска может быть внутри тестя, а не теста. Хотя, разумеется, всё зависит от контекста, в текстах специфической тематики вариант с тестем вполне может оказаться правильным. Учитывая все эти сложности, некоторые эксперты относят машинный перевод к числу ИИ-полных задач, и доказать или опровергнуть их точку зрения смогут лишь дальнейшие успехи в этой сложной, но чрезвычайно интересной области ИИ.

Впрочем, революция глубокого обучения вполне ожидаемо оказала влияние и на машинный перевод (о чём мы поговорим в следующем разделе), что даёт нам некоторые соображения относительно того, как этот спор будет разрешён.

В конце 2010-х гг. появились первые исследования, посвящённые систематическому мониторингу качества машинного перевода. В первую очередь речь идёт об обзорах [2103] , [2104] , [2105] , [2106] , публикуемых группой исследователей из компании Intento под руководством Григория Сапунова. Обзор 2020 г. включает в себя анализ качества работы 15 различных систем машинного перевода для 15 отраслей и 14 языковых пар. Сравнение производилось на основе современных метрик качества перевода (в первую очередь BERTScore). При подготовке Стэнфордского отчёта о развитии искусственного интеллекта Artificial Intelligence Index Report за 2019 г. [2107] именно исследование команды Сапунова легло в основу раздела о машинном переводе.

Исследования Intento показывают быстрый рост как числа систем машинного перевода и поддерживаемых ими языковых пар, так и качества самого перевода. Давайте попробуем разобраться в том, какие именно методы сделали возможным столь быстрый прогресс в этой сложной для машинного интеллекта области.